トップ ソフト 雑記 日記 リンク

2017年10月1日日曜日

ふぁぼるっくの収集を停止しました

2009年7月から8年続けてきたふぁぼるっくですが、この度データの収集を停止しました。
公開されているサイトも、そのうち停止します。

公開当初は、まだふぁぼったーが有って、まだfavstarは無い状態でした。
ふぁぼったーの収集状況が完璧ではなかったのを見つけて作り始め、自分自身が面白いと感じるツイートを見つけるために開発を続けてきました。

ふぁぼ爆撃などの文化が生まれたため、アカウント毎にふぁぼの重み付けなどを行い、「あまりふぁぼらない人のふぁぼは貴重」という評価からスコアを算出したりしていました。

複数のサーバを運用し、収集したデータを一つのデータベースへ集め、色々と新技術を試してみたりする実験的なプロジェクトとしても役立ちました。
個人的にこれだけの大規模データを処理したことがなかったので、大変勉強になりました。

多くの方に支持をいただき、一時期はたくさんの方に見ていただけたのですが、設備投資が追いつかないままに競合が登場し、すっかり注目を集められないプロジェクトとなってしまいました。
今後もデータが増え続ける中で、運用にかかるコストが大きくなりすぎてしまい、 趣味の延長として続けるには辛くなってきたので、そろそろ終わりだなと決断した次第です。

つらみポイント

  • 公開当初、Twitter API勉強会@大阪で発表枠の申し込みに遅れ、知名度アップのスタートダッシュに失敗した。
  • クライアント作者へふぁぼるっくの宣伝をしなかったため、ふぁぼったーを開く機能を持っていたクライアントは軒並みfavstarに対応した。いやらしいかなと思ってやらなかったんだけど、もっと出て行かないと存在を示せない。
  • 自宅サーバから始まり、VPSへ移行し、AWSへ移り、再び自宅サーバへ戻ってきたが、データ取得部分だけはAWSに残していて費用が辛い。しかし現状が一番マシ。
  • AWS時代はサーバ代・通信量だけで年間80万円掛かっていた。スポットインスタンスとかも活用していたんだけど。それとは別に自宅サーバも別に運用。全データをインターネット側に置く費用は用意できなかった。
  • 広告を貼っているが年間5000円も収益がない。広告が非表示・別インデックスで表示が高速化される有料会員制度を作ってみたりしたが、契約はゼロだった。お試しみたいな宣伝が必要だったと思う。
  • 現在は2TBのSSDを5台でRAID5を構成しているが、寿命がどんどん削れる。2年は持たなさそう。
  • データベースはPostgreSQLで運用しているが、トランザクションID周回によるバキュームが常に動き続けている状態。そのうち間に合わなくなるのでは。データベースインスタンスそのものを水平分割するべきなのだろうけど、同じスペックのサーバを揃える費用が…。
  • スコア計算を導入したが、Twitterがインフラとして広がるにつれて計算量が爆発的に増えてしまい、当初は10分で終わっていた毎時処理が最終的には2週間以上も掛かるようになってしまった。Xeonの10コア20スレッド、メモリ64MBのサーバが常にロードアベレージ60以上。ぶろるっくも同じデータベースサーバで管理しているので、負荷に引きずられる。
  • 自分がマストドン( @osapon@mstdn.nere9.help )へ移行してしまい、Twitterの面白い話題を追いかけることが無くなった。面白い話題は大体RTで回ってくるのと、ふぁぼるっく側でスコア計算をやめてしまったため、自分自身がふぁぼるっくを見なくなってしまった。
  • 新しいこともしてみたくなる中で、ストレージの再設計とそれに伴う作り直しをするモチベーションが沸かなかった。
  • ふぁぼがいいねに変更されて、名前の由来が分からなくなった。(一番つらい)

収集したデータ

アカウント数54,906,240
ツイート数5,878,570,230
ふぁぼ数35,238,885,993
RT数10,629,973,759
データベースサイズ4.42TB

アプリケーション連携をしてくれた皆さん、見に来てくれた皆さん、ありがとうございました。

2017年9月28日木曜日

スパムツイートをしているアプリの広告について調べてみた(その4・自動フォロー)

Twitterで猛威を振るっているスパムアプリですが、どういう広告をしているのか調べてみました。第4弾です。

スパムアプリに書き込み権限を渡すことで、勝手にツイートされたりフォローが行われたりします。
今回は勝手にフォローしてしまうアカウントについてまとめてみました。

これらのアカウントは、普通の人間を装っていますが、そのうち広告ツイートなどを行うと思われます。
フォロワーが居ることでブロックによる凍結から回避する狙いも有るかもしれません。

以下のようなアカウントがあります。
リンク先はユーザーIDで指定してあるので、スクリーンネームが変わっている場合が有るかもしれませんが、自動でスパムアプリにだけ感染するアカウントを作って調査をしているため、間違いはない状態です。
ユーザーID:840157651161948161 @sayumi_jyi_ise
ユーザーID:903145563897479168 @enaaaaaa5
ユーザーID:905681444764135424 @natu0707_ifo
ユーザーID:905713897868365824 @shiori_kri
ユーザーID:906436615588913152 @hiJiri0808i
ユーザーID:906452834647908353 @Amana_mi
ユーザーID:905672172131074048 @SaaaaaaYappp
ユーザーID:906467391818817537 @n___aco00
ユーザーID:912918604169056256 @sae56887
ユーザーID:912956841491021824 @kaina7m6jk
ユーザーID:912967285538566144 @miachanU
ユーザーID:913989707498905600 @mayuyun291
ユーザーID:914004201805455360 @mikasano7474
ユーザーID:914693585756348416 @allisspring55
ユーザーID:914694969935355905 @erina2525erina
ユーザーID:916250641097355266 @nagisa969001
ユーザーID:918345908693057536 @mako800519
ユーザーID:918706129068212226 @asutaka0307
ユーザーID:840524552966828032(凍結されました。通報してくれた方ありがとう)
ユーザーID:903200178110210048(凍結されました。通報してくれた方ありがとう)
ユーザーID:903488880896163841(凍結されました。通報してくれた方ありがとう)
ユーザーID:904306316948025344(凍結されました。通報してくれた方ありがとう)
ユーザーID:904310023949451266(凍結されました。通報してくれた方ありがとう)
ユーザーID:906407496721432576(凍結されました。通報してくれた方ありがとう)
ユーザーID:912261008818806784(凍結されました。通報してくれた方ありがとう)
ユーザーID:917949702074646528(凍結されました。通報してくれた方ありがとう)
ユーザーID:917957673349533703(凍結されました。通報してくれた方ありがとう)
(新しいアカウントが見つかれば更新します)
間違ってもフォローなどしないように、ご注意ください。
ブロックしておくのが確実かもしれません。

2017年8月5日土曜日

builderscon tokyo 2017へ行ってきました #builderscon

タイトル通り、builderscon tokyo 2017へ行きました。
カンファレンスのために東京まで来たのは、YAPC::Asia Tokyo 2015以来です。
buildersconという名前になったことで、PHPerとしてアウェイ感がぐっと下がりましたね。

ということで、前夜祭から参加してきたので、聞いた講演の感想などを。

前夜祭

  • オンプレミスデータセンター撤退!

    口外禁止ということで、感想としては「面白い話でした。」
  • データストア撤退の歴史

    口外禁止と(以下略)「ためになる話が大量にあった。」
  • PaaS完全撤退の歴史

    口外(以下略)「感動的な話だった。」
  • ブロックストレージとの戦い、そして撤退

    口(以下略)「あのときの裏話、漏れ伝わっていたけどさらに詳しく知れた。」

「愚者は経験に学び、賢者は歴史に学ぶ。」という言葉がありますが、他人の不幸は蜜の味失敗話というか、これがだめだったという話は、経験と歴史を同時に知ることができ、とても有用なのではないかと思うのです。失敗知識データベースというものができるぐらいですから。人間が進歩してきた上で、先人の知識というものは偉大だなと改めて感じた前夜祭でした。

1日目

  • DeepLearningによるアイドル顔識別を支える技術

    教師役を自分がやることで、自分がその分野に詳しくなってしまい、できた判定機を使う機会がなくなってしまう問題って、どうやって解決したらいいのでしょうね。多分みんなが教師として参加できる分野だと違ってくるのでしょうか。
  • ランチセッション A 株式会社VOYAGE GROUP

    fluctとか広告システム周りの話かなと思っていたのですが、ポッドキャストの公開収録でした。kauliは使っていたのですが、fluctになってから離れてしまい、技術ブログなどを追いかけていなかったので、またいろいろ見てみようと思います。
  • ランチセッションB Momentum株式会社

    こちらもアドテクの会社ということで、やばいサイトに広告を出さない仕組みの話が興味深かったです。やばいサイトにこの会社の広告が出てしまっているのは正常な動作ということで、これはこれで上手い広告になっているなと感心しました。
  • ブラウザ拡張のクロスブラウザ対応についてどう向き合っているか

    わたしも古いXPCOMを使ったアドオンを公開しているのですが、いよいよ使えなくなるぞということで、最近WebExtension周りを調べていたので、聞きに行ってみました。
    またTumbfixやHTTP2インジケーターなど、古いアドオンのおかげでマルチプロセスが使えないため、何か手を出せるかなと考えていたのですが、どう見ても辛みのある話しか聞けなくて、本当につらさがよく伝わってくる話でした。
  • Anatomy of DDoS

    CloudflareのDDoS攻撃に対する話。攻撃手法については、なんとなくで知っていた程度でしたが、詳しい原理が聞けてよかったです。確かにこれは簡単には防げませんね。拙作「ぶろるっく」も時々DDoS攻撃を受けていたのですが、Cloudflareを挟むようになってからは問題が出ていません。とても助かっています。
  • RDBアンチパターン リファクタリング

    過去にアンチパターンの話を聞いたことがあるのですが、アップデートというか、少しPostgreSQLから離れた感じの話になり、データベースを維持していくための話になりました。
    途中まで話を聞いている段階では、拙作「ふぁぼるっく」のデータベースももう一回ぐらい整理しようかなと思ったのですが、トランザクション周回によるバキュームが常に走っているような状況なので、帰宅途中にちょっと難しいなと思い直したりしました。新しい成果物から頑張るぞ。

2日目

  • 知られざる世界 〜WEB以外のPHP〜

    uzullaさんの軽快トークで改めてPHPの潜在能力を再発見しました。
    最近というか、先月末ついにわたしの管理下からPHP5.3のサーバ全廃され、よしPHPやっていくぞという感じになっているので、頑張ってPHP7に向かっていくぞと心持ちを新たにすることができました。
  • Ionic 3+ではじめる次世代アプリ開発(HTMLでiPhoneアプリをつくろう!)

    一つ前のセッションで、PHPでもアプリ開発ができるという話を聞いた後で、真面目な!?アプリ開発の話を聞きました。
    今後、やはりアプリは避けて通れない道だよなぁ、でもネイティブ技術を覚えるのは辛すぎるしというところで、Progressive Web Appsの概要と、それを上手く包括できるフレームワークを知ることができました。うまい使いどころを見つけて是非活用していきたいと感じました。
  • ランチセッション【PR】エンジニアがkintoneを使うべき3つの理由 サイボウズ株式会社

    名前だけは聞いたことがあるkintoneについての解説でした。フリーランスになってから、なかなか大規模な管理ツールに触れる機会がなく、サイボウズ?ああ、あのスケジュール管理ツール作ってる会社ねみたいな認識だったのですが、認識がアップデートされました。
  • ランチセッション 【PR】検索サービス開発が絶対におもしろいと思う理由 Supership株式会社

    検索サービスというと、Yahoo!JAPANもエンジン切り替えちゃったし、もう国内で残っているのってgooぐらいじゃないのという認識だったのですが、まだまだ頑張っている会社があるんだなと知ることができました。
  • OSS の引き継ぎ方

    せっかく見つけた使えそうなライブラリがメンテナンスされてなさそうで、あとちょっと気に入らないところを直したら使えそうなんだけど、何かしら問題が出てきたときに手を入れていくのが面倒だなと思って、結局採用を見送ったということが何度かありました。作者が放置しているぐらいですからメンテナンスの手間が大変そうという思いが強くて、他人のコードを引き継ぐというのは、やはり強い「やっていき」の心が大事だなと感じました。
  • Factory Class

    ラノベ風タイトルで表現すれば「普通のプログラマーがハードウェアの作成に手を出した件について」でしょうか。わたしもkickstarterでZNAPSに出資をして現物を受け取れておらず、制作者からの更新で工場とのやりとりが大変なんだろうなとは感じていたのですが、ハードウェアの素人がkickstarterで支援を受けてハードウェアを大量生産するまでの苦労話を聞くことができました。具体的な注意点や、注目すべき点がまとめられていて、何か機会があればこの知識がとても役に立ちそうだと感じました。
  • The Evolution of PHP at Slack HQ

    slackがどうしてPHPを選んだのかという話が聞けました。創業者の意見ってやはり大きいですよね。PHPを使っているという話は聞いていたのですが、いつの間にかHHVMになっているとは知りませんでした。HHVMの勉強会にも2回ほど参加したのですが、PHP7が正統みたいな感じで進んでいく中で、HHVMの立ち位置は正直微妙だなと思って(当時CentOSでのビルドもできず)あまり深くは追いかけなくなったのですが、Facebookはまだまだメンテナンスをやっていくということで、もう少しアンテナを広げてみてもいいかなと感じました。


わたしがベストトークとして投票したのは以下の3本でした。
・ブラウザ拡張のクロスブラウザ対応についてどう向き合っているか
・知られざる世界 〜WEB以外のPHP〜
・Ionic 3+ではじめる次世代アプリ開発(HTMLでiPhoneアプリをつくろう!)


builderscon全体の感想として、「やっていく気持ち」は大事だなと、改めて思い直しました。
日々の作業に追われてしまい、もちろんそれらの作業も継続することや一つずつ片付けていくことが大事なのですが、そうした作業をしているうちに新しいことにチャレンジする気持ちが失われていく気がします。
buildersconのテーマでもある「知らなかった、を聞く」そしてそれに刺激を受けるというのは、マンネリ化しがちな生活に波紋を作り、自分の中の新しい波に変えていく一滴になるのではないか、と思うのです。
この気持ちを大切にして、改めてやっていくぞ!

2017年7月25日火曜日

スパムアプリの導入URLを真っ先に貼った手動アカウント

短縮URL提供業者のご協力により、スパムアプリの導入へ繋がるリンクを大量に停止していただけました。
そのため、最近はスパムアプリ運営者は自前で短縮URLを運用し始めたようです。

bitly.main.jp
shindameker.lovepop.jp
hccve.kilo.jp
carry.kilo.jp
dereteyou2.mond.jp

あたりがそれです。
このドメインを検索してみると、若い短縮URLしか存在せず、新興のサービスであることが分かります。
またトップページには登録画面のようなものは存在せず、Twitter上に存在するアドレスや、短縮URLの「/1」から順にアドレスを開いていくと、スパムアプリへのリンクしか存在しないことが分かります。

スパム専用短縮URLを検索していて、こんなアカウントを見つけました。
(ツイートのリンク先には飛ばないように注意してください。)

ユーザーID:888618364343525376 投稿時スクリーンネーム:mormentyoung45
問題のツイートのステータスページ
魚拓
スクリーンショット


このようにTwitter Web Clientからツイートしています。ほかにもワンピースキャラ診断のアドレスもTwitter Web Clientでツイートしていました。
完全に「クロ」です。

スパムツイートをしているアプリの広告について調べてみた(その3・引用RT)

Twitterで猛威を振るっているスパムアプリですが、どういう広告をしているのか調べてみました。第3弾です。

スパムアプリが流す広告の中には、他の広告用アカウントでツイートしたものを引用RTの形で紹介するものがあります。

なぜかいくつかのアカウントは、わたしを先行ブロックしています。何か都合が悪いんでしょうかね。

以下のようなアカウントがあります。
リンク先はユーザーIDで指定してあるので、スクリーンネームが変わっている場合が有るかもしれませんが、確実に前科のあるアカウントです。
ユーザーID:3163973185 @minmisa4
ユーザーID:4892869524 @nakataku345
ユーザーID:4896329119 @KiwamImato
ユーザーID:703086596606693376 @pekochan468
ユーザーID:703087970132176896 @ninnki_japan
ユーザーID:704316209458577409 @beauty_bizin
ユーザーID:704316849366786048 @rikatyatya
ユーザーID:704317478604701696 @rr4satyan
ユーザーID:704317997511380992 @hiiinanp
ユーザーID:871337646274039809 @aoi_mnn
ユーザーID:3302257819(凍結されました。通報してくれた方ありがとう)
ユーザーID:4895437416(凍結されました。通報してくれた方ありがとう)
ユーザーID:703086049950478336(凍結されました。通報してくれた方ありがとう)
ユーザーID:704267257182965761(凍結されました。通報してくれた方ありがとう)
ユーザーID:704267899309920256(凍結されました。通報してくれた方ありがとう)
ユーザーID:704268513611948032(凍結されました。通報してくれた方ありがとう)
(新しいアカウントが見つかれば更新します)
間違ってもフォローなどしないように、ご注意ください。
ブロックしておくのが確実かもしれません。

2017年7月2日日曜日

スパムツイートをしているアプリの広告について調べてみた(その2・漫画アプリ)

Twitterで猛威を振るっているスパムアプリですが、どういう広告をしているのか調べてみました。第2弾です。

これはまた分かりやすい広告が流れてきました。
フリーブックスや漫画村を使うような人達に向けて、双葉社のアプリを紹介するツイートです。
BRったーがツイートしていましたが、検索キーワードだけを提供していて、リンクなどは有りません。これでは広告効果が計れませんね。
ツイートしている側はどういう利点があるのでしょうか。
スパムアプリに許可を出している人数で値段が決まるのでしょうか?
それとも、スパムアプリ運営者と、このアプリの運営者が同じなのでしょうか?(8月30日 漫画アプリ運営者と連絡が取れたため削除)
この広告で紹介されているアプリは、アイコンや画像を勝手に使われたコピーアプリなのか、または双葉社が公式に公開しているアプリか、どちらの事を紹介しているのでしょうか。
コピーアプリなら双葉社にはきちんと対応していただきたいですし、公式アプリの広告なら、どういう経緯でこういう広告が流れているのか、説明して欲しいですね。(8月30日 漫画アプリ運営者と連絡が取れたため削除)
双葉社経由で、このアプリの運営元とコンタクトを取り事情を伺いましたが、原因は分からないとのことでした。
スパムアプリからツイートされたという情報や、スパムアプリの作者情報はTwitter社に残っているので、できればスパムアプリ制作者に対して対応を取って頂きたいところですが、マイナスの効果をプラスマイナスゼロにするだけで、効果が少ないので難しいところです。
個人的には、企業からの対応によって悪質なスパムアプリが一掃されるきっかけとなれば、とても評価が上がることだと思っています。

「アプデ入ってからマジでフリーブックス」の検索結果

7月24日追記 双葉社のサイトには本に関する問合せ窓口の紹介は有るものの、このような総合的な問合せ窓口が存在せず、双葉社の営業用アカウントが活発に活動していたのでこちらに問合せを投げてみました。 7月2日から14日にかけて何度か問いかけをしましたが、他人のリプライ等には反応があるものの、当方のリプライには反応がいただけませんでした。
また、この問いかけの後から、該当のアプリを宣伝するツイートが止まっていることを付け加えておきます。

8月12日追記 双葉社の方から問い合わせ先の返答をいただけたので、そちらへ問い合わせを送信しました。

8月29日追記 双葉社の方から教えて頂いた連絡先から返答がないため、再度別のメールアドレスから問い合わせを送信しました。

8月30日追記 マンガリーフ運営元から返答をいただけたため、一部本文を修正しました。

2017年5月18日木曜日

スパムアプリの注意点

Twitterで猛威を振るっているスパムアプリですが、注意喚起ページに余り長々と書くと、どうやらそれだけで拒否反応が出るようで、アプリ解除を面倒に感じて放置し、新しいアカウントを作る人が多々居るようです。

またいくつかの媒体が「○○というツイートに注意」と注意を呼びかける記事を出してくれていますが、少し書き足りない部分があります。
そこで、もう少し詳しい注意点をこちらにもまとめておきます。

まず大量にある複数のスパムアプリは、「同一の人物(団体)」 が運営しています。
これらのアプリは、お互いを紹介しあっています。
そのため、どれか一つのツイート内容に注意するというのは得策ではありません。
一つの内容に注意すると、別の内容に騙されます。

ではどうやって注意すれば良いのか。
これらのアプリがツイートする宣伝リンクをクリックすると、ある特徴が有ります。
アプリの紹介ページなどがなく、いきなりアプリ認証の画面が開くのです。
中には、「もう一度リロードして」と短い文章を表示するアプリなどもあります。
目立つ特徴としては、アプリがどういうものか説明するページが無いということです。


ツイート権限を要求するアプリが悪者だ!という声も見かけましたが、ツイートを要求する=すぐに悪者というわけではありません。そのアプリがどういう動作のためにツイート権限を要求しているか確認しましょう。
また、おかしなツイートを見かけたら、アプリ名表示に対応しているクライアントを使ってみるのも良いかもしれません。(誰かまとめて欲しい)

特徴を理解して、アプリ認証の画面が出てきたら注意しましょう。

P.S.同一人物(団体)が運営と書きましたが、注意が必要なアプリを注意深く観察していると、お互いに紹介をしあわないアプリがあります。現在三グループほどの運営者がいるようです。

広告