（提供終了）QlikView Twitter Connectorのインストールと基本的な使い方

Twitter Connectorは、2015年1月30日をもって提供を終了いたしました。
この記事は履歴として残してありますが、ここに書かれた内容は、現在利用できませんのでご注意ください。


アシストが無償で提供している「QlikView Twitter Connector」を利用すれば、Twitter上のフォロワーやツイートに関する情報をQlikViewに取り込んで分析できます。
ここでは、Twitter Connectorの概要とインストール方法について解説します。
インストール後にサンプルアプリケーションを使用して、Twitterの情報をQlikViewに取り込んでみましょう。


Twitter Connectorでできること
ダウンロードしたファイルに含まれる内容の解説
インストール
サンプルアプリケーションの使用
手動でのデータロード
補足説明 Twitter APIの制限について
最後に…

Twitter Connectorでできること

Twitter Connectorでは、ユーザーごとのフォロワー数、ツイート数、ツイート内容、ツイートに対するリプライ・リツイート数などが取得できます。また、キーワード検索も可能であるため、あるキーワードがいまTwitter上で、どの程度話題になっているかも調べられます。

Twitter Connectorの特長

以下に記載されている制限の中には、Twitter APIに起因するものがあります。これらの制限は、Twitter APIの仕様変更により変更されている場合があります。

• ユーザー（Twitterのアカウント）に関するさまざまな情報を取得可能。
  
• 最大10ユーザーの情報を同時に取得可能。
  
• キーワードを指定して、あるキーワードが含まれるツイートを取得可能。（直近約8日間のツイートを取得可能。）
  
• フォロワー数や、ツイート内容、リツィート数、投稿した日付や場所などをはじめ、さまざまなデータを取得可能。（直近約3200件のツイートを取得可能。）
  取得可能な項目の一覧は、インストーラーに同梱されている「テーブル一覧.pdf」をご確認ください。
  
• サンプルアプリケーションが付属。
  ユーザー検索とキーワード検索のサンプルアプリケーションが1つずつ付属しています。
  
• Klout社が提供するKlout Scoreも取得可能。（別途klout.comへの登録が必要です。）
  
• Twitter APIの制限を回避するための独自アプリケーションも付属。[1]
  

[1] Twitter API 1.1の制限により、一定時間でアクセスが中断されるため大量のデータは取得できません。Twitter Connectorにはこれを回避する仕組みが組み込まれており、アクセスが中断されてもつづきから再開できます。
また、同APIの制限により、取得できるデータは過去一定期間または一定件数に限定されます。Twitter Connectorには「蓄積データ管理アプリケーション」が付属しており、これを使用するとデータがローカルのPCに蓄積されるため、APIの制限を越えて長期間のデータ、大量のデータを分析できます。

ダウンロードしたファイルに含まれる内容

Twitter Connectorをダウンロードしていない方は、以下のページからダウンロードしてください。
（提供終了）Twitter ConnectorとFacebook Connectorのダウンロード

ダウンロードしたQVTwitterConnector1.93.139.zipを圧縮解凍ツールなどで解凍してください。
※ファイル名の後半部分はバージョンによって若干異なる場合があります。

• QvTwitterConnectorInstaller.msi
  インストーラー本体です。
  
• ReleaseNotes.htm
  リリースノートです。システム要件やご使用条項、Twitter APIの制限、ご利用いただく上での注意事項などがまとめられています。
  
• twitterSearchSample.qvw、twitterUserSample.qvw
  サンプルのQVWです。
  
• インストール&クイックガイド.pdf
  インストール手順やアンインストール手順、上記サンプルの使い方、Twitter Connectorを使ってデータを取り込む手順など、Twitter Connectorの使い方がひととおりまとめられています。
  
• サンプルドキュメントに関する注意書き.pdf
  Personal Editionで上記サンプルを開く際の注意書きです。上記サンプルには、Personal Editionでも開けるようにするためのライセンスが埋め込まれています。ただし、このライセンスには有効期限があるため、一定期間を経過するとPersonal Editionではサンプルが開けなくなります。
  サンプルが開けなくなった場合は、Twitter Connectorを再度ダウンロードしてください。
  
• テーブル一覧.pdf
  Twitter Connectorで取得可能な項目の一覧がまとめられています。
  

インストール

Twitter Connectorのインストールは非常に簡単です。
「QvTwitterConnectorInstaller.msi」を実行して、あとはインストーラーの指示にしたがっていけば、インストールが完了します。
以下に画面キャプチャを掲載しますので、参考にしてください。（クリックすると拡大します。）

インストールが完了すると、デスクトップに「蓄積データ管理アプリケーション」のショートカットも作成されます。

サンプルアプリケーションの使用

Twitter Connectorを使用するには、Twitterのアカウントが必要です。
Twitterのアカウントをお持ちでない方は、事前に作成してください。
Twitter

サンプルアプリケーションを使用してみましょう。
Twitter Connectorには、以下の2つのサンプルアプリケーションが同梱されています。

• twitterSearchSample.qvw
  キーワード検索のサンプルです。指定したキーワードを含むツイートの情報を取得できます。
  
• twitterUserSample.qvw
  ユーザー検索のサンプルです。指定したユーザー（Twitterのアカウント）の情報を取得できます。
  

ユーザー検索のサンプルを使用してみます。
「twitterUserSample.qvw」を開きます。
※ここでは、もとのファイルを残しておくために「twitterUserSample.qvw」をコピーして作成した「twitterUserSample1.qvw」というファイルを開いています。

以下の画面が開きます。

QlikTech社（QlikViewの開発元）のTwitterアカウントを指定してみます。
［ユーザー名］に「QlikView」と入力します。
大文字小文字が区別されますので注意してください。

［ユーザー名］の欄からフォーカスを外すと（余白をクリックすると）、［リロード開始］ボタンが有効になります。
［リロード開始］ボタンをクリックします。

リロードが開始されます。

ユーザー認証の画面が表示されます。
Twitterにログイン済みであれば、以下の画面が表示されますので、［連携アプリを認証］ボタンをクリックしてください。

Twitterにログインしていなければ、以下の画面が表示されます。
ユーザー名とパスワードを入力して［連携アプリを認証］ボタンをクリックしてください。

数字7桁のコードが表示されます。［OK］ボタンをクリックします。

リロードが開始され、データが取り込まれます。

データが取り込めました。

手動でのデータロード

こんどはサンプルアプリケーションを使用せずに、手動でデータを取り込んでみましょう。
ドキュメントを新規に作成し、［ロードスクリプトの編集］ボタンをクリックします。

Twitter Connectorを使用する場合は、画面左のドロップダウンメニューから「QvTwitterConnector.exe」を選択します。

［接続］ボタンをクリックします。

以下の画面が表示されるので、［対象ユーザー］か［キーワード］を選択します。

ここでは［対象ユーザー］を選択します。

［対象ユーザー］に「QlikView」と入力し、［ログイン情報を保持する］にチェックを入れて［OK］ボタンをクリックします。

Twitter Connectorの接続定義ができました。

以降はデータベースからデータを取り込むときと同様です。
ロードスクリプトの最下行にカーソルをあわせて、［選択］ボタンをクリックします。

［対象ユーザー］の機能では、以下の4つのテーブルが取得できます。

• User_Tracテーブル
  ユーザー名、総ツイート数、フォロワー数、フレンド数（フォローしている人数）など、ユーザーの基本情報。
  
• Tweetテーブル
  ユーザーが発信したツイート、リツイート、リプライ。また、これらの内容やリツイートされた数など。
  
• ReTweetテーブル
  ユーザーが受信したリツイート、リプライの情報。
  
• DirectMessagesテーブル
  ユーザーが送受信したダイレクトメッセージの情報。
  

User_TracテーブルとTweetテーブルを取り込んでみます。
「User_Trac」を選択して［追加］ボタンをクリックします。

「Tweet」を選択して［追加］ボタンをクリックします。

［OK］ボタンをクリックします。

「LOAD」文が作成されました。
確認後［OK］ボタンをクリックします。

データを取り込んでみましょう。
［リロード］ボタンをクリックします。

まだファイルを保存していない場合は、リロード前にファイルの保存を求められます。
任意の名前でファイルを保存してください。

リロードが完了したら［閉じる］ボタンをクリックします。
以上でデータの取り込みは完了です。

つづいて、簡単なアプリケーションを作成してみましょう。
シートの余白を右クリック→［シートオブジェクトの追加］→［テーブルボックス］を選択します。

User_Tracテーブルの中から、a_name（ユーザー名）、a_followers_count（フォローされている数）、a_friends_count（フォローしている数）を選択します。
※先頭が「a」ではじまっているものは、ユーザーの基本情報と覚えておくとよいでしょう。

テーブルボックスが作成できました。
値は左から、a_name（ユーザー名）、a_followers_count（フォローされている数）、a_friends_count（フォローしている数）をあらわします。

もう1つテーブルボックスを追加してみましょう。
シートの余白を右クリック→［シートオブジェクトの追加］→［テーブルボックス］を選択します。

Tweetテーブルの中から、t_created_at（ツイートした日時）、t_retweet_count（リツイートされた数）、t_text（ツイート内容）を選択します。
※先頭が「t」ではじまっているものは、ツイート情報と覚えておくとよいでしょう。

テーブルボックスが作成できました。
値は左から、t_created_at（ツイートした日時）、t_retweet_count（リツイートされた数）、t_text（ツイート内容）をあらわします。

ツイート内容が横に長く見難いため、整形してみましょう。
ツイート内容のテーブルボックスを、右端までスクロールします。

テーブルボックスの左端の箇所をドラッグして、横幅を縮めます。

横幅が狭くなりました。
さらに見やすくするために、ツイート内容を2行で折り返して表示してみましょう。

テーブルボックスを右クリックして［プロパティ］を選択します。

［プレゼンテーション］タブを開き［折り返し］にチェックを入れます。
［OK］ボタンをクリックします。

ツイート内容が2行で表示されました。

Twitterではリツイートされた数が、反響の大きさをあらわす1つの目安として使えます。
以下は、Twitterヘルプセンター | リツイート(RT)に関するよくある質問 からの抜粋です。

リツイートとは他の誰かのツイートを再投稿することです。Twitterのリツイート機能を利用すれば、あなたのフォロワー全員でツイートをすばやく共有できます。

もっともリツイートされた回数が多かったツイートを調べてみましょう。
「t_retweet_count」のラベルをダブルクリックして、リツイート数で並べ替えます。

もう一度ダブルクリックしてリツイート数の多い順に並べ替えます。
2011年10月に投稿された、QlikView 11のリリースに関するツイートが、もっともリツイート数が多かったようです。

補足説明 Twitter APIの制限について

前述のとおり、Twitter ConnectorにはTwitter APIの制限を回避するための仕組みが組み込まれています。
たとえば、Twitter APIの制限により、一定時間（記事作成時点では15分間）でアクセスが中断されるため、大量のデータは取得できません。しかし、Twitter Connectorではアクセスが中断されてもつづきから再開できます。

大量データの取得を試みます。

取得するデータが多い場合、アクセスが中断され以下のメッセージが表示されます。
※アクセスが中断されるまでに取り込んだデータは使用できます。

あらためてリロードを実行すると、途中から継続するか、新規に取り込み直すか確認する画面が表示されます。
ここで［継続］をクリックすれば、中断されたところから再開できます。

一旦アクセスが中断されると、制限が解除されるまでに一定時間待たなければなりません。制限が解除されていない場合は、以下の警告が表示されますので、一定時間経過後にあらためて実行してください。


また、Twitter Connectorには「蓄積データ管理アプリケーション」が付属しており、これを使用するとデータがローカルのPCに蓄積されるため、APIの制限を越えて長期間のデータ、大量のデータを分析できます。
「蓄積データ管理アプリケーション」の詳細は「インストール&クイックガイド.pdf」をご参照ください。

最後に…

今回作成したロードスクリプトは以下のとおりです。
※前半の「SET」文は省略しています。
※「CONNECT」文の指定は環境によるため、このスクリプトをコピーして使用する場合は「CONNECT」文の部分は、ご利用の環境で設定しなおしてください。
※「CONNECT」文中の、ユーザーIDやパスワードの指定は削除してあります。

CUSTOM CONNECT TO "Provider=QvTwitterConnector.exe;ConnectType=NORMAL;TokenKeep=Yes;SaveFile=No;Users=QlikView;KloutScore=No;key=;SearchWord=;Lang=;XUserId=;XPassword=;";

//-------- Start Multiple Select Statements ------
LOAD a_load_date,
    c_user_id,
    a_name,
    a_location,
    a_lang,
    a_screen_name,
    a_favourites_count,
    a_followers_count,
    a_listed_count,
    a_statuses_count,
    a_friends_count,
    a_created_at,
    a_protected,
    a_profile_image_url,
    a_klout_score,
    a_klout_day_change,
    a_klout_week_change,
    a_klout_month_change;
SQL SELECT *
FROM User_Trac;

LOAD t_created_at,
    t_created_m_at,
    c_id,
    t_retweet_count,
    t_text,
    c_user_id,
    t_user_name,
    t_user_location,
    t_user_lang,
    t_user_screen_name,
    t_user_favourites_count,
    t_user_followers_count,
    t_user_listed_count,
    t_user_statuses_count,
    t_user_friends_count,
    t_user_created_at,
    t_user_protected,
    t_user_profile_image_url,
    t_in_reply_to_status_id,
    t_in_reply_to_user_id,
    t_in_reply_to_user_name,
    t_in_reply_to_user_location,
    t_in_reply_to_user_lang,
    t_in_reply_to_user_screen_name,
    t_in_reply_to_user_favourites_count,
    t_in_reply_to_user_followers_count,
    t_in_reply_to_user_listed_count,
    t_in_reply_to_user_statuses_count,
    t_in_reply_to_user_friends_count,
    t_in_reply_to_user_created_at,
    t_in_reply_to_user_protected,
    t_in_reply_to_user_profile_image_url,
    t_retweeted_status_id,
    t_retweeted_status_user_id,
    t_retweeted_status_user_name,
    t_retweeted_status_user_location,
    t_retweeted_status_user_lang,
    t_retweeted_status_user_screen_name,
    t_retweeted_status_user_favourites_count,
    t_retweeted_status_user_followers_count,
    t_retweeted_status_user_listed_count,
    t_retweeted_status_user_statuses_count,
    t_retweeted_status_user_friends_count,
    t_retweeted_status_user_created_at,
    t_retweeted_status_user_protected,
    t_retweeted_status_user_profile_image_url,
    t_updatetime;
SQL SELECT *
FROM Tweet;
//-------- End Multiple Select Statements ------

以上で今回の課題は終了です。
今回はTwitter Connectorのインストールと、基本的な使い方についてご覧いただきました。

Twitter Connectorを使用すれば、Twitter上の情報をQlikViewに取り込んで分析できます。
また、Twitter APIの制限を回避するための仕組みも組み込まれています。
しかし、過去にさかのぼって、公開されているすべてのツイート情報を取得できるわけではありません。
より広範におけるツイート情報の取得に興味のある方は、Twitter社が提供する「Firehose」というサービスについて調べてみてください。
Googleで「firehose」を検索する

Twitter Connectorを使用した、より実践的な例についても、機会があればまた別の記事にまとめようと思います。

お疲れ様でした。