ヒートマップを元に、生成AI（ChatGPT、Gemini、Claude）を使ってページを分析してみる
ヒートマップを元に、生成AI（ChatGPT、Gemini、Claude）を使ってページを分析し、それぞれの分析結果を比較してみました。
22 Seconds
2024-07-21 02:00 +0000
前回の続きになります。
ヒートマップを元に、生成AI（ChatGPT、Gemini、Claude）を使ってページを分析し、それぞれの分析結果を比較してみました。
生成AIは全て無料版を使用します。2024年7月現在のそれぞれのバージョンは以下の通りです。
- ChatGPT: GPT-4
- Gemini: Gemini 1.0 Pro
- Claude: Claude 3.5 Sonnet
準備
今回の分析対象のページはリサーチアルチザンプロの料金表のページ（https://pro.research-artisan.net/prices/）です。
生成AIに渡すヒートマップは、リサーチアルチザンプロのスクロールマップ機能を使います。
スクロールマップは画像化して生成AIにアップロードする必要がありますので、Google Chromeの拡張機能 “FireShot” を使って、スクロールマップの結果を画像化しました。
その際、Claudeのみアップロードに失敗することがありましたので、画像のサイズ変更（特に高さを調整）してアップロードできる形に編集しました。
料金表ページのスクロールマップの結果画像は以下のようになります。
この結果画像を使って生成AIにサイトの分析を依頼しますが、以下のようなプロンプトを含めて依頼します。
あなたはプロのウェブアナリストです。
このスクロールマップ画像を元にページを分析してください。
分析結果には"仮説","改善案"も含めて下さい。
スクロールマップでは、赤・黄・青をベースにグラデーション表示されます。
訪問者が留まった回数が多いほど、その箇所は赤く表示され、逆に少ないほど青く表示されます。
スクロールマップは、訪問者がページを閲覧した際にスクロールせず3秒以上止まっていた場合、
その見ていたページ上の箇所（100px毎に区切っています）を「1view」としてカウントし、赤く色付けしています。
スクロールマップ上で赤くならず「1view」もカウントされていない箇所は、“3秒以内にスクロールされた＝あまり見られていない”ということになります。
これらのview数について、“view数をカウントした回数の合計と各箇所のview数”より割合を算出し
色でもその割合を表現することで、ページ上のどの部分がよく見られたかが一目でわかるようになっています。
Geminiの分析結果
ぱっと見、前回よりは分析してくれたかと思いました。
が、よくよく見ると「ユーザーの声やレビュー」といった実際にページ上に無い情報もあるかの如く分析しています。
何か、一般的なスクロール系のヒートマップのことを、そのまま言ってるだけのような印象です。
分析結果の情報量は多そうですが、中身は無さそうです。改善案も全くと言っていいほど、参考になりません。
今回も3つの生成AIの中では、一番使えないなという印象です。
Claudeの分析結果
おおー、これは素晴らしい分析です。
まず「スタンダードプラン」、「プレミアムプラン」、「比較表」といった表現があり、ちゃんと結果画像を読み込んでいるなという印象です。
「1.観察」での赤・黄・緑・青の、それぞれの色が指し示すページ上の箇所も間違いがないです。
「2.仮説」の内容も的確です。
プランの比較表は簡潔すぎて、ユーザーにとって十分な情報を提供していない可能性がある
すみません。おっしゃる通りです。。
「3.改善案」の内容も素晴らしいです。
a) コンテンツの再構成:
最も注目されているスタンダードプランの情報をさらに強調し、より詳細な説明を追加する。
プレミアムプランの特徴や利点をより明確に示し、スタンダードプランとの違いを強調する。b) プラン比較表の改善:
比較表をより詳細かつ視覚的に魅力的なものに改善し、ユーザーの注目を集める。
各プランの主要な特徴や利点を簡潔にまとめたサマリーを追加する。c) CTAの最適化:
ユーザー登録ボタンをページの上部にも配置し、興味を持った時点ですぐに行動できるようにする。
各プランの説明の近くにCTAボタンを配置し、決断を促す。
いやー、分析ありがとうございます。これは本当に参考にします。
素直に凄いなという印象です。
ヒートマップの結果としては、ありがちな上から順に色が変わっていくものですが、
ページ上の各コンテンツをちゃんと把握した上で分析、更にその表現がわかりやすいです。
流石はClaudeです。3つの生成AIの中では、一番使えるという印象です。
ChatGPTの分析結果
前回一番使えると感じたChatGPT。
今回も悪くはないのですが、Claudeが凄かったので、比較すると少し見劣りする印象です。
「スタンダードプラン」、「プレミアムプラン」、「比較表」といった表現もあり、結果画像の読み込みはちゃんとしてくれています。
「まとめ」も含め、全体的に「スタンダードプラン」と「プレミアムプラン」の違いに焦点を当てて分析してくれたようです。
プレミアムプランの利点を強調し、訪問者の関心を引くための特典や限定オファーを追加する。
こういう提案はClaudeには無いものでしたので、印象は良いです。ただ、類似のページを分析させても言いそうな内容で、ヒートマップ分析のフォーマットに従っているような気もします。
結果画像の情報量を考えると充分分析してくれたとは思いますが、Claudeと比較すると見劣りしますので、今回は2番目の評価とします。
総評
渡す情報の違いでしょうか。各生成AI共に、前回よりは分析の精度が高いなと思いました。
Claudeが思ったよりよくできた分析であったので、自分自身も積極的に使いたいですし、ClaudeのAPIを使ってリサーチアルチザンプロの機能にも盛り込んでいければと思います。
ただこれはあくまで2024年7月現在における結果です。各生成AIも日々進化していますので、数ヶ月後には違う結果になるかも知れません。
また、各生成AIのバージョン自体の性能差もありますので、同性能におけるバージョン比較ではないことをご了承ください（あくまで各生成AI共に無料で行う際の比較になります）。
更にプロンプトも重要ですので、この内容によっては分析結果が変わる可能性もあります。
いずれにしても、やはりサイト分析という分野についても、既に生成AIで事足りるという状況になっている気がしています。
それにはデータを渡す必要がありますが、そこは是非リサーチアルチザンプロをご活用ください（笑）。