アクセス解析の集計結果を元に、生成AI（ChatGPT、Gemini、Claude）を使ってサイトを分析してみる

アクセス解析の集計結果を元に、生成AI（ChatGPT、Gemini、Claude）を使ってサイトを分析し、それぞれの分析結果を比較してみました。

生成AIは全て無料版を使用します。2024年7月現在のそれぞれのバージョンは以下の通りです。

• ChatGPT: GPT-4
• Gemini: Gemini 1.0 Pro
• Claude: Claude 3.5 Sonnet

準備

今回の分析対象のサイトはリサーチアルチザンプロの紹介サイト（https://pro.research-artisan.net）です。
生成AIに渡すアクセス解析の集計結果は、リサーチアルチザンプロのメール送信エクスポート機能を使います。
集計結果は以下のようなデータになります（一部抜粋し、数値は伏せ字にしています）。

2024年7月xx日～2024年7月xx日の「Research Artisan Pro - リサーチアルチザンプロ」のアクセス状況をお知らせします。

サイト名: Research Artisan Pro - リサーチアルチザンプロ
URL: https://pro.research-artisan.net

■時間別 (訪問者数, 新規数, リピーター数, 不明数, ページビュー数)
訪問者数: x,xxx
新規数: x,xxx
リピーター数: xxx
不明数: xx
ページビュー数: x,xxx

2024年7月の総カウント数: 5,309

0時 -> xx ,  xx ,  xx ,  x ,  xx
1時 -> xx ,  xx ,  xx ,  x ,  xx
...

■新規・リピーター
訪問者数: x,xxx

x,xxx  -> 新規 (71.54%)
xxx  -> リピーター (28.46%)
...

■ページビュー
ページビュー: x
ページビュー数: x,xxx
直帰率: 79.51%

x,xxx  -> 1回 (79.51%)
xxx  -> 2 - 5回 (15.94%)
...

■端末
端末: x
ページビュー数: x,xxx

x,xxx  -> PC (55.94%)
x,xxx  -> スマートフォン (39.5%)
...

■ページ
ページ: xxx
ページビュー数: x,xxx

x,xxx  -> 簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ ( https://pro.research-artisan.net/ ) (68.54%)
xxx  -> 404 Page not found ? 簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ ( https://pro.research-artisan.net/manual/recording/ ) (14%)
xx  -> ご利用料金 ? 簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ ( https://pro.research-artisan.net/prices/ ) (0.86%)
...

■検索エンジン
検索エンジン: x
ページビュー数: xxx

xxx  -> google (92.7%)
xx  -> yahoo (6.18%)
x  -> bing (1.12%)
...

■リンククリック
リンククリック: xx
クリック数: x,xxx

xxx  ->旧バージョン(59.2%)
xxx  -> ログイン (38.02%)
xx  -> ランチャークリック - リサーチアルチザンプロ (1.49%)
...

■コンバージョン
コンバージョン数: xx

xx  -> ユーザー登録（新バージョン）
...

■レイジクリック
レイジクリック: x
レイジクリック数: x

x  -> 簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ ( https://pro.research-artisan.net/ ) (100%)
...

■デッドクリック
デッドクリック: 0
デッドクリック数: 0
...

■クイックバック
クイックバック: x
クイックバック数: xxx

xxx  -> 簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ ( https://pro.research-artisan.net/ ) (97.35%)

この集計結果を使って生成AIにサイトの分析を依頼しますが、集計結果の前に以下のようなプロンプトを追加します。

あなたはプロのウェブアナリストです。
以下のアクセス解析結果を元にサイトを分析してください。
分析結果には"仮説","改善案"も含めてください。

アクセス解析結果内の各用語の意味は以下の通りです。
レイジクリック：訪問者がイライラしながら同じ箇所を繰り返しクリックする行為
デッドクリック：訪問者がボタンやリンクだと勘違いして、実際には何も起きない箇所をクリックする行為
クイックバック：訪問者がページを開いた直後に離脱する行為
AdSense クリック：アドセンス広告をクリックした回数
AdSense ページ：アドセンス広告がクリックされたページ
キャンペーン：UTMパラメータで指定したキャンペーン
参照元：UTMパラメータで指定した参照元
メディア：UTMパラメータで指定したメディア
キーワード：UTMパラメータで指定したキーワード
広告コンテンツ：UTMパラメータで指定した広告コンテンツ
シナリオクリック：サイト内に設置したチャットボット内の質問回答のクリック数
--

Geminiの分析結果

冒頭から集計結果の数値が表示されていますが、そもそも集計結果を渡しているので、「それはわかってるやん」という感じです。
集計結果を「〜が最も多い」というような表現でわかりやすくしているイメージですが、これも集計結果を見れば感覚でわかることですので、分析と言われると「うーん」という感じです。
レイジクリック数が0回と誤って分析している箇所もあります。
最後の結論も、まあそのままというか、この分析結果で得られるものは無さそうです。
3つの生成AIの中では、一番使えないなという印象です。

Claudeの分析結果

集計結果毎に「仮説」と「改善案」を提示してくれて好印象です。
Geminiのように集計結果の数値をそのまま分析結果としていない点も良いです。
数値の誤りも無さそうです。
最後の総括も、Geminiよりかは参考になりそうな表現です。
私自身、文章の校正によくClaudeを使いますが、表現力は流石という感じです。
3つの生成AIの中では、Geminiよりは使えるという印象です。

ChatGPTの分析結果

3つの生成AIの中で、一番使えるなと思いました。
GeminiとClaudeは、集計結果の上から順に分析結果が表示されるイメージですが、ChatGPTは全ての集計結果を読んだ上で、問題点を5つ挙げてくれています。「分析してくれてるな」という印象です。
分析結果内に集計結果の数値がほとんどなく、分析の説明で必要な箇所のみの表示されています。Geminiとは大違いです。
ただ、デッドクリックが発生していると嘘をついている箇所もあります。
結論もわかりやすく、次の分析を依頼しようかなという気になりました。

総評

各生成AI共に、同じ集計結果を渡しても毎回異なる分析が返ってきます。
今回も各生成AIに3回依頼してみましたが、どの依頼においても比較するとChatGPTが一番使える印象でした。
ただこれはあくまで2024年7月現在における結果です。各生成AIも日々進化していますので、数ヶ月後には違う結果になるかも知れません。
また、各生成AIのバージョン自体の性能差もありますので、同性能におけるバージョン比較ではないことをご了承ください（あくまで各生成AI共に無料で行う際の比較になります）。
更に集計結果の前のプロンプトも重要ですので、この内容によっては分析結果が変わる可能性もあります。

いずれにしても、サイト分析という分野についても、既に生成AIで事足りるという状況になっている気がしています。
それにはデータを渡す必要がありますが、そこは是非リサーチアルチザンプロをご活用ください（笑）。

簡単で分かりやすい高機能アクセス解析ツール - リサーチアルチザンプロ