スクリプト類とメニューボタン

トップ ソフト 雑記 日記 リンク

2017/11/05

ぶろるっくがサスペンドされています

タイトル通り、現在拙作「ぶろるっく」は10月31日からTwitter社によってサスペンドされています。

Twitter社からのメールには、Developer Policy: Section I.C.1.d-eに違反していると書かれていました。

セクションIのCの1のdとeには以下のように書かれています。
  • C. Respect Users’ Control and Privacy
    • 1.Get the user’s express consent before you do any of the following:
      • d.Store non-public Content such as Direct Messages or other private or confidential information.
      • e.Share or publish protected Content, private or confidential information.

非公開情報(この場合ブロック情報を指すのでしょう)を収集するときに、ユーザーに同意を得よということなのですが、それはログインボタンの下に太字で書かれていました。
ひとまず説明の一行目にも追加して、問い合わせを送り、11月1日に以下のような再審査する旨のメールが来ました。

これが届くと、すぐに回復するらしいのですが、時間が掛かっているようです。
わたしの方ではどうすることも出来ないので、Twitter社の対応待ちです。

よく分からないのは、他のアプリも同じ理由で止められているのですが、問題のないアプリもあります。
テスト用アプリで、どこにも公開していないものや、自分がKrileにセットして使う用のものまで止められているので、基準が分かりません。自分用のアプリはどうやってポリシーを明示すれば良いのでしょうか。
この状態で新しいアプリを作成するのは危険すぎるので、Krile用の新しいアプリは作らずに、Twitterを見なくなってしまいました。
スマホの通知を見るのは気が付いたときだけなので、なにか連絡があればマストドン( https://mstdn.nere9.help/@osapon )の方にいただけると助かります。

またスパムアプリチェックのアプリだけお目こぼしをいただいている様ですが、スパムツイートをチェックするアプリが止められているので、システムとしては効果がありません。

ぶろるっくのトークンが100万を越えそうだったので、問い合わせをしたのですが、完全にやぶ蛇という感じです。
Twitter社は大阪にもオフィスがあるようですが、お伺いした方が良いんでしょうか。


12月12日追記
新しいアプリとして登録し直しました。
過去の登録情報は削除しています。

2017/10/01

ふぁぼるっくの収集を停止しました

2009年7月から8年続けてきたふぁぼるっくですが、この度データの収集を停止しました。
公開されているサイトも、そのうち停止します。

公開当初は、まだふぁぼったーが有って、まだfavstarは無い状態でした。
ふぁぼったーの収集状況が完璧ではなかったのを見つけて作り始め、自分自身が面白いと感じるツイートを見つけるために開発を続けてきました。

ふぁぼ爆撃などの文化が生まれたため、アカウント毎にふぁぼの重み付けなどを行い、「あまりふぁぼらない人のふぁぼは貴重」という評価からスコアを算出したりしていました。

複数のサーバを運用し、収集したデータを一つのデータベースへ集め、色々と新技術を試してみたりする実験的なプロジェクトとしても役立ちました。
個人的にこれだけの大規模データを処理したことがなかったので、大変勉強になりました。

多くの方に支持をいただき、一時期はたくさんの方に見ていただけたのですが、設備投資が追いつかないままに競合が登場し、すっかり注目を集められないプロジェクトとなってしまいました。
今後もデータが増え続ける中で、運用にかかるコストが大きくなりすぎてしまい、 趣味の延長として続けるには辛くなってきたので、そろそろ終わりだなと決断した次第です。

つらみポイント

  • 公開当初、Twitter API勉強会@大阪で発表枠の申し込みに遅れ、知名度アップのスタートダッシュに失敗した。
  • クライアント作者へふぁぼるっくの宣伝をしなかったため、ふぁぼったーを開く機能を持っていたクライアントは軒並みfavstarに対応した。いやらしいかなと思ってやらなかったんだけど、もっと出て行かないと存在を示せない。
  • 自宅サーバから始まり、VPSへ移行し、AWSへ移り、再び自宅サーバへ戻ってきたが、データ取得部分だけはAWSに残していて費用が辛い。しかし現状が一番マシ。
  • AWS時代はサーバ代・通信量だけで年間80万円掛かっていた。スポットインスタンスとかも活用していたんだけど。それとは別に自宅サーバも別に運用。全データをインターネット側に置く費用は用意できなかった。
  • 広告を貼っているが年間5000円も収益がない。広告が非表示・別インデックスで表示が高速化される有料会員制度を作ってみたりしたが、契約はゼロだった。お試しみたいな宣伝が必要だったと思う。
  • 現在は2TBのSSDを5台でRAID5を構成しているが、寿命がどんどん削れる。2年は持たなさそう。
  • データベースはPostgreSQLで運用しているが、トランザクションID周回によるバキュームが常に動き続けている状態。そのうち間に合わなくなるのでは。データベースインスタンスそのものを水平分割するべきなのだろうけど、同じスペックのサーバを揃える費用が…。
  • スコア計算を導入したが、Twitterがインフラとして広がるにつれて計算量が爆発的に増えてしまい、当初は10分で終わっていた毎時処理が最終的には2週間以上も掛かるようになってしまった。Xeonの10コア20スレッド、メモリ64MBのサーバが常にロードアベレージ60以上。ぶろるっくも同じデータベースサーバで管理しているので、負荷に引きずられる。
  • 自分がマストドン( @osapon@mstdn.nere9.help )へ移行してしまい、Twitterの面白い話題を追いかけることが無くなった。面白い話題は大体RTで回ってくるのと、ふぁぼるっく側でスコア計算をやめてしまったため、自分自身がふぁぼるっくを見なくなってしまった。
  • 新しいこともしてみたくなる中で、ストレージの再設計とそれに伴う作り直しをするモチベーションが沸かなかった。
  • ふぁぼがいいねに変更されて、名前の由来が分からなくなった。(一番つらい)

収集したデータ

アカウント数54,906,240
ツイート数5,878,570,230
ふぁぼ数35,238,885,993
RT数10,629,973,759
データベースサイズ4.42TB

アプリケーション連携をしてくれた皆さん、見に来てくれた皆さん、ありがとうございました。

2017/09/28

スパムツイートをしているアプリの広告について調べてみた(その4・自動フォロー)

Twitterで猛威を振るっているスパムアプリですが、どういう広告をしているのか調べてみました。第4弾です。

スパムアプリに書き込み権限を渡すことで、勝手にツイートされたりフォローが行われたりします。
今回は勝手にフォローしてしまうアカウントについてまとめてみました。

これらのアカウントは、普通の人間を装っていますが、そのうち広告ツイートなどを行うと思われます。
フォロワーが居ることでブロックによる凍結から回避する狙いも有るかもしれません。
他にアカウントを見ていると、フォロー販売の材料にもされているようです。

以下のようなアカウントがあります。
リンク先はユーザーIDで指定してあるので、スクリーンネームが変わっている場合が有るかもしれませんが、同じアカウントです。
自動でスパムアプリにだけ感染するアカウントを作って調査をしているため、間違いはないです。

注意が必要なアカウント

ユーザーID:14733825 @120
ユーザーID:2156597922 @jp100i
ユーザーID:3167516418 @uwasanosa_twi
ユーザーID:3502212972 @gj495t2
ユーザーID:916250641097355266 @nagisa969001
ユーザーID:921205038508269569 @arisaend
ユーザーID:1031791578023526406 @wannnnpi_su
ユーザーID:1032989500895506432 @chun_chunzZ
ユーザーID:1032457054483492865 @iyashinomovie
ユーザーID:1032994542566264832 @YYutinik
ユーザーID:1033159225311019010 @kawah5chan
ユーザーID:1033163726587748352 @takkuHGK
ユーザーID:1033166605394501632 @kaminohima
ユーザーID:1209654742508421120 @lupinboat

凍結されました。通報してくれた方ありがとう

ユーザーID:3302232746 @twispotlight
ユーザーID:698044217357049856 @twijapa
ユーザーID:840157651161948161 @sayumi_jyi_ise
ユーザーID:840524552966828032
ユーザーID:903145563897479168
ユーザーID:903200178110210048
ユーザーID:903488880896163841
ユーザーID:904306316948025344
ユーザーID:904310023949451266
ユーザーID:905672172131074048
ユーザーID:905681444764135424
ユーザーID:905713897868365824
ユーザーID:906407496721432576
ユーザーID:906436615588913152
ユーザーID:906452834647908353
ユーザーID:906467391818817537
ユーザーID:912261008818806784
ユーザーID:912918604169056256
ユーザーID:912956841491021824
ユーザーID:912967285538566144
ユーザーID:913989707498905600
ユーザーID:914004201805455360
ユーザーID:914693585756348416
ユーザーID:914694969935355905
ユーザーID:917949702074646528
ユーザーID:917957673349533703
ユーザーID:918345908693057536
ユーザーID:918706129068212226
(新しいアカウントが見つかれば更新します)
間違ってもフォローなどしないように、ご注意ください。
ブロックしておいても、ブロックを解除されてフォローさせられている場合があります。
TLに見覚えのないアカウントの投稿が流れてきたら、注意してください。
引用RTをするアカウントにも注意してください。

広告