Google Search Console の全データを見られる BigQuery 一括データエクスポートの詳細とその方法について - ブログ

Google Search Console（以下、サーチコンソール）は、サイトの検索パフォーマンスを把握する上で欠かせない重要なツールです。

しかし、サーチコンソールの管理画面は、サクッとデータを確認するには良いですが、詳細に分析しようとするとかなり使いづらさを感じます。また、閲覧できるデータ量も、管理画面・エクスポート共に標準機能では「1,000行まで」というデータの出力制限があります。フィルタ条件ごとに1,000件までとなるため、1日単位のデータに絞り込んだり、特定ディレクトリに絞り込んだりすることで回避することは可能ですが、とはいえサイト規模が大きくなるほど、見られるデータは全体のほんの一部。ロングテールの動きや、流入の全体像を把握したくても、データが断片的になってしまい詳細な分析が難しくなります。

「APIでエクスポートすれば？」と思われる方もいるかもしれません。確かにAPIを利用すると、1,000行を超えたエクスポートや、Looker StudioなどのBIツールでのレポートの描画が可能となりますが、実はAPIで取得できるデータ量にも制限があり、全てのデータを取得できるわけではありません。

こうした状況の中、2023年にGoogleからサーチコンソールの全データをBigQueryへ直接エクスポートする機能がリリースされ、「匿名化されたデータ」を含む全数データを詳細に分析できるようになりました。

本記事では、この機能を活用した「サーチコンソールからBigQueryへデータをエクスポートする方法」について、分かりやすく解説していきます。

この記事を最後まで読んでいただくと、こんなことがわかります。

💡BigQueryへの一括データエクスポート設定を、Google Cloudの管理画面で自分で実施できるようになります

💡サーチコンソールの1,000行制限を超えて、匿名化クエリを含む全数データを確認できるようになります

💡BigQueryエクスポート後のデータ活用における課題と、その解決方法の選択肢が分かるようになります

最後までおつきあいください。

【もくじ】

サーチコンソールのデータを確認する方法の比較
BigQueryエクスポートの方法
- Google Cloudコンソールでの設定
- サーチコンソールでの操作
BigQueryエクスポートしたデータは、扱うのが難しい
- Search ConsoleのBigQueryデータ活用の3つの課題
データの民主化を手軽に実現する、Amethyst。
全数データ分析を、もっと身近に

サーチコンソールのデータを確認する方法の比較

大きく分けて、サーチコンソールのデータを確認する方法は3種類あります。

サーチコンソールの管理画面を利用する方法
Search Console APIを利用してエクスポート、もしくはBIツールなどで可視化して、分析を行う方法
BigQuery一括エクスポート機能を用いて、BIツールなどで可視化し、分析する方法

それぞれの方法における、メリット・デメリットは以下のとおりです。

	Search Console 管理画面	Search Console API	Search Console BigQuery 一括エクスポート
メリット	・サクッと分析ができる	・自由にデータを抽出できる・カスタマイズした計算フィールドを使用可能・さまざまなデータソースと連携可能	・1日あたりのデータ行数制限が存在しない・匿名化クエリも含む全データがエクスポート可能・SQLを用いた柔軟な分析が可能
デメリット	・1,000行までしかデータが見られない・16ヶ月分のデータしか参照できない・フィルタの柔軟性がない	・50,000行/1日の抽出上限がある・APIの使用回数制限がある・SQLを用いたデータの抽出はできない	・BigQueryへ接続した日からデータが蓄積され始める

サーチコンソールの管理画面では、フィルタの柔軟性がなく、確認できるデータ量にも制限があるため、詳細な分析には向きません。

そこを解消する一つの手段としてサーチコンソール APIがありますが、こちらも抽出条件や回数に制限があり、中規模〜大規模サイトでは分析するデータ量が物足りない可能性があります。また、どちらにせよ「匿名化されているクエリ」のデータはみられないなど、全数データの確認はできません。

BigQueryへエクスポートすれば、行数制限がなく、また匿名化されたクエリを含む全数データを分析できます。ただし、データの蓄積はエクスポートした日から始まるので、可能な限り早めにエクスポートして分析できる体制を整えておくことをお勧めします。

BigQueryエクスポートの方法

ではBigQueryの一括データエクスポートについて見ていきましょう。

新しい一括データのエクスポートを開始する - Search Console ヘルプ

このセクションでは、上記のページをもとに説明していきます。

Google Cloudコンソールでの設定

Google Cloud コンソールを開きます。
データのエクスポート先の Google Cloud プロジェクトに切り替えます。

※本記事では、新規作成の場合を想定しています。もし既存のプロジェクトが存在している場合は、データを管理されている部署もしくは担当者に確認してから実行してください。

まずは、赤枠の「プロジェクトを作成または選択」を押す。

以下の画面になったら、「新しいプロジェクト」を押す

プロジェクト名、場所を指定します。
また、プロジェクトIDは、後ほどSearch Console側の設定で使うので、メモ帳などにコピペしておいてください。

作成を押せばここでの作業は完了です。
プロジェクトで BigQuery を有効にします。
1. サイドバーで [API とサービス] > [有効な API とサービス] に移動します。
2. BigQuery が有効になっていない場合は、[+ API とサービスの有効化] をクリックして、BigQuery API と BigQuery Storage API を有効にします。
  
  以下の2つが有効になっていればOKです。
プロジェクトにデータを保存する権限を Search Console に付与します。
1. サイドバーで [IAM と管理] に移動します。このページには、先ほど作成したプロジェクトの権限が表示されます。
2. 赤枠の[+ アクセスを許可] をクリックすると、[プリンシパルを追加] というサイドパネルが開きます。
3. [新しいプリンシパル]欄に、次のサービスアカウント名を貼り付けます。
  - search-console-data-export@system.gserviceaccount.com
4. 「ロールを割り当てる」の欄に、[BigQuery ジョブユーザー]と [BigQuery データ編集者]という 2 つのロールを付与します。
5. 赤枠の状態になっているのを確認し、[保存] をクリックすればここでの作業は完了です。

注意点：

データの増加に注意してください。データの有効期限を設定しない限り、プロジェクトのデータは永久に蓄積されます。適切なパーティション有効期限を設定して、ストレージ費用を管理してください。
データには Google Cloud Storage とクエリの費用が適用されますが、無料枠があります。
サーチコンソールの一括エクスポートにおけるデータのストレージ費用については、膨大なトラフィックがある一部のサイトを除いて、大抵の場合は無料枠の10GiBに収まります。ストレージはデータ蓄積によって増えていきますが、無料枠を超えても費用は数百円程度に収まることがほとんどです。

サーチコンソールでの操作

上記のように Google Cloud プロジェクトを設定します。
プロパティの [設定] > [一括データのエクスポート] に移動します。
先ほど作成した、Google Cloud コンソールプロジェクトのプロジェクト ID を [Cloud プロジェクト ID] フィールドにコピーします（もしわからなくなった場合、プロジェクト ID は、プロジェクトの設定ページに表示されます）。
データセット名を指定します。名前はデフォルトで保存すると searchconsole となりますが、複数のプロパティから 1 つのプロジェクト ID にエクスポートする場合は、Search Console プロパティごとに異なるデータセット名を指定する必要があります。ただし、データセット名を変更する場合でも、常に文字列「searchconsole_〇〇」の形となります（※1）。
※1「searchconsole」の文字列は、デフォルトで入力される仕様になっているため、自身で入れる必要はありません。仮に自身でも入力してしまうと、「searchconsole_searchconsole_〇〇」という形で重複してしまうため、注意が必要です。
リストからデータセットの場所を選択します。Search Console は、最初のエクスポートでこの場所にデータセットを作成します。エクスポートの開始後にこの場所を変更することは難しくなります。
[続行] をクリックして選択内容を確認し、スケジュール設定されたエクスポートを開始します。すぐに検出できる問題（アクセスなど）が発生した場合は、比較的早い段階で通知が届きます。それ以外の場合は、Search Console は 1 日以内にエクスポートを開始します。
サーチコンソールで設定を適切に行うと、最大 48 時間以内に最初のエクスポートが行われます。最初のエクスポートには、当日のデータが含まれます。永続的でないエラーが発生した場合、サーチコンソールはスケジュールどおり翌日にエクスポートを再試行します。
テーブルを作成した後、パーティションの有効期限は設定できますが、スキーマの変更（列の追加など）はできません。スキーマを変更すると、エクスポートは失敗します。

初期設定に先立って過去のデータを確認するには、Search Console API またはレポートを使用します。

BigQueryエクスポートしたデータは、扱うのが難しい

Search ConsoleのBigQuery一括エクスポート機能は、「匿名化されたクエリ」を含む全数データが見られるという大きなメリットをもたらす一方で、その恩恵を最大限に引き出すには、いくつかの現実的なハードルが存在します。

Search ConsoleのBigQueryデータ活用の3つの課題

まず、データを抽出するにはSQLという専門言語が必須です。データに強いマーケターや、データエンジニア、データアナリストであれば自身でSQLを書いてデータを抽出し、分析できますが、チーム内で誰もが使えるダッシュボードを作ったり、日々の変化を追う定点観測に使うには手間がかかりすぎます。

そこで多くの場合、Looker StudioのようなBIツールにデータを繋いでモニタリング環境を構築しますが、こちらも見たいデータを思い通りに可視化するための仕組み作りや、継続的なメンテナンスに大きな工数がかかってしまいます。また、データ量によっては、描画処理に数分程度かかってしまい、そもそもデータ分析をする行為から遠ざかってしまうかもしれません。

さらに、「BigQueryのコスト管理の難しさ」という側面もあります。BigQueryのデータ抽出は、処理したデータ量によって料金が決まる従量課金制です。SNSなどで「大規模なデータをうっかり全件取得してしまい、一度で数十万円の請求が来た」というような、意図せぬ高額請求の失敗談を目にしたことがある方も多いのではないでしょうか。

このように、BigQueryの全数データは非常に魅力的ですが、以下の3つの大きな壁が、データ分析を行う人の前に立ちはだかります。