スクリプト類とメニューボタン

トップ ソフト 雑記 日記 リンク
ラベル ぶろるっく の投稿を表示しています。 すべての投稿を表示
ラベル ぶろるっく の投稿を表示しています。 すべての投稿を表示

2024/11/01

ぶろるっく終了のお知らせ

普段から拙作「ぶろるっく」を利用していただきありがとうございます。

現在は広告収入やいただいた寄付により運営を行ってきましたが、API利用料の値上げ並びに昨今の為替状況により費用負担が大きくなりすぎてしまうため、サービスを終了いたします。

終了予定日は2024年11月10日14時（日本時間）です。

これまでに取得された情報は、サービス終了後、速やかに削除いたします。

今までご利用いただきありがとうございました。
また翻訳などを手伝っていただきました方々、寄付いただきました皆様にお礼申し上げます。


一部報道などでありますように、XのAPI使用料が月額200ドルになるというニュースがありました。

X（旧Twitter）、開発者向けAPIの基本料金を2倍に値上げ。個人開発者に激震【やじうまWatch】 - INTERNET Watch
https://internet.watch.impress.co.jp/docs/yajiuma/1634758.html

【公式発表】Upcoming updates to the Self Serve X API - Announcements - X Developers
https://devcommunity.x.com/t/upcoming-updates-to-the-self-serve-x-api/227668

開始日がアナウンスされていなかったので、観測気球的な投稿かと思っていたのですが、どうやら確定のようで、もう契約画面のプラン表示なども200ドルとなっていました。次の更新日から変更のようです。
（年間契約にすれば月額175ドルで済むようですが）さすがに維持費が大きくなりすぎてしまいます。


以下、案内と関係ない回想です。

元々は、みんなのデータを集めたらこういうサービスが作れるんじゃないか？と思いついて作り始めたのがきっかけでした。


徐々に利用していただける方が増えデータ量が増えるにつれて、みんな意外とブロックされているんだなと気がついたり、数字に一喜一憂したり、


3400万件ブロックしている人とか、36万件ブロックされている人とか

注意が必要なTwitterアプリ
https://blolook.osa-p.net/caution_twitter_apps.html
ブロック数が見られると謳うスパムアプリが跋扈したり。これはAPI有料化によりほぼ見かけなくなったようではありますが、ぶろるっくが話題に上がる度に「あれはスパムだ」と非難が上がったり、色々なことがありました。


結果の数字を見て疑心暗鬼になったり、ショックを受ける方が結構おられたかもしれませんが、それは目指していたところではありませんでした。
検索結果などには出ていたのですが、『他人の結果を見ることで「人は万人とは分かり合えないのだ」と気にしないで欲しい』というところが根底にあります。
昨今問題ともされる分断を煽る方針と受け取られてしまうかもしれませんが、多様性として理解していても、どうしても合わないものは合わない部分もあります。元々Twitterというところは楽しく活動できるところでした。利用者が増えるにつれ、秘密基地だったところが大通りになってしまい、仲間内の会話に省略された文脈を知らない人がツッコミを入れる場所になってしまいました。
また運営組織としても、きちんとルールを決める必要性が発生し、その点は理解できるのですが、会社所在地の法律などに縛られるようになってしまいました。
そうした中で、Mastodon(日本語)やMisskeyなど、一つだけのルールに縛られない、それぞれが決められるルールで運営される分散SNSに興味を持ち、今ではそちらへ入り浸るようになってしまいました。
今後の状況をみても、大勢に何かを伝えたいところにはなるかと思いますが、自分が使うところではないなと感じています。
今後も日々のつぶやきはhttps://mstdn.nere9.help/@osaponでつぶやいていますので、興味を持たれた方はフォローしてみてください。本当にしょうもないことばかり投稿していますが。

at 21:00 5 comments
Labels: ,

2017/11/05

ぶろるっくがサスペンドされています

タイトル通り、現在拙作「ぶろるっく」は10月31日からTwitter社によってサスペンドされています。

Twitter社からのメールには、Developer Policy: Section I.C.1.d-eに違反していると書かれていました。

セクションIのCの1のdとeには以下のように書かれています。
  • C. Respect Users’ Control and Privacy
    • 1.Get the user’s express consent before you do any of the following:
      • d.Store non-public Content such as Direct Messages or other private or confidential information.
      • e.Share or publish protected Content, private or confidential information.

非公開情報（この場合ブロック情報を指すのでしょう）を収集するときに、ユーザーに同意を得よということなのですが、それはログインボタンの下に太字で書かれていました。
ひとまず説明の一行目にも追加して、問い合わせを送り、11月1日に以下のような再審査する旨のメールが来ました。

これが届くと、すぐに回復するらしいのですが、時間が掛かっているようです。
わたしの方ではどうすることも出来ないので、Twitter社の対応待ちです。

よく分からないのは、他のアプリも同じ理由で止められているのですが、問題のないアプリもあります。
テスト用アプリで、どこにも公開していないものや、自分がKrileにセットして使う用のものまで止められているので、基準が分かりません。自分用のアプリはどうやってポリシーを明示すれば良いのでしょうか。
この状態で新しいアプリを作成するのは危険すぎるので、Krile用の新しいアプリは作らずに、Twitterを見なくなってしまいました。
スマホの通知を見るのは気が付いたときだけなので、なにか連絡があればマストドン（ https://mstdn.nere9.help/@osapon ）の方にいただけると助かります。

またスパムアプリチェックのアプリだけお目こぼしをいただいている様ですが、スパムツイートをチェックするアプリが止められているので、システムとしては効果がありません。

ぶろるっくのトークンが100万を越えそうだったので、問い合わせをしたのですが、完全にやぶ蛇という感じです。
Twitter社は大阪にもオフィスがあるようですが、お伺いした方が良いんでしょうか。


12月12日追記
新しいアプリとして登録し直しました。
過去の登録情報は削除しています。

at 9:46 10 comments
Labels:

2017/03/04

YAPC::Kansai 2017 OSAKAへ行った ＆ LTでぶろるっくの紹介をしてきました

YAPC::Kansai 2017 OSAKAへ行って来ました。

以下のセッションを聞いてきました。

深沢 千尋氏「実録！『すぐわかるPerl』」

社内ツール作成担当から、どのようにしてPerlに関わることになったか、という話。
「わかる～👉👉」という感じだった。

risou氏「高速化の初歩」

高速化をするときの注目箇所と、やらなくて良いことの見極めが大事。

Yappo氏「Elasticsearch で作る ranking system のスヽメ」

キャッシュというと、どうしてもredisに頼っちゃうよね、と。
でもElasticsearchでも出来るよって話。

moznion氏「Webアプリケーションのキャッシュ戦略とそのパターン」

アプリケーションキャッシュに重点を絞って、どのような方法が取り得るかという話。

木本裕紀氏「MojoliciousとWebSocketsでサーバーpush配信」

WebSocketsの話は、まあよく見るサンプルという感じだったけど、その前の古い文字コードや言語混じりの旧設計システムを置き換える話が面白かった。

小飼弾氏「スペシャルセッション mail_form.cgi reborn」

面白かったです。ベテランと言えども、追い立てられると簡単なミスをしてしまうんだなぁということが分かって、なんだか安心(？)しました。

meru_akimbo氏「TRUNCATE user;に如何にして立ち向かうか」

定期バッチでのバックアップは処理量が増えてくると、定期で終わらないよね、と。
binlogを使って、PostgreSQLで言うWALとPITRみたいなことをするという話。

motemen氏「はてなシステムの考古学」

はてなが古代から進化するに当たって、どのような思想でサービスを作ってきたかという話。

あと、LTでぶろるっくの紹介をしてきました。

スライドの最後にもあるように、人は万人とは分かり合えないので、言語戦争とか、エディタ戦争とか、コーディングスタイル戦争とかはやめよう。

at 22:28 2 comments
Labels: ,

2017/02/13

ぶろるっく　最近のブロック集計 2017年2月


下限上限人数
14200000 1
14000000 14199999 1
8300000 8399999 1
7900000 7999999 1
7800000 7899999 1
6900000 6999999 1
2300000 2399999 1
1800000 1899999 1
1400000 1499999 27
1300000 1399999 2
1100000 1299999 1
900000 999999 1
700000 799999 2
500000 699999 5
400000 499999 6
300000 399999 9
200000 299999 16
100000 199999 123
90000 99999 10
80000 89999 14
70000 79999 15
60000 69999 31
50000 59999 70
40000 49999 143
30000 39999 222
20000 29999 200
10000 19999 435
9000 9999 76
8000 8999 115
7000 7999 195
6000 6999 305
5000 5999 446
4000 4999 891
3000 3999 1501
2000 2999 2452
1000 1999 6891
900 999 1539
800 899 1741
700 799 2180
600 699 2878
500 599 3629
400 499 5235
300 399 8709
200 299 16982
100 199 43042
1 99 422214
0 0 160486
合計682847
昨年2016年1月26日に公開した拙作「ぶろるっく」。前回の集計が2016年9月でしたので、5か月ほど間が空きました。
きちんと、定期的に件数を集計したり、毎日の延び具合とかを記録しておけばよかったんですが、最初はどのくらい集まるか分からず、とりあえず公開という流れからズルズルと来ています。
いつも通りに右の表は、ブロック数です。

集計タイミングは2017年2月13日 19時
登録アカウント数 68万2847件

ブロックした件数の平均値は452、中央値は18でした。
被ブロック件数の平均値は23、中央値は6でした。

手作業でブロックしていると2000件ぐらいが限界かなと思いますが、数万件以上ブロックしているのはどんなツールなんでしょう。気になります。
また、そのアカウントのタイムラインはどんな感じなんでしょうね。

あと自動的にデータを取り直して最新状態を保つようにしていますので、よろしければアプリ連携を残しておいてもらえると嬉しいです。
アプリ連携を解除された方のデータは、自動取得のタイミングでデータを消しています。

アプリのアイコンも設定しました！オリジナル感を出したかったので、頑張ってGIMPで作りました。

ぶろるっくは上の画像にもあるように、「読取専用」となっています。
意図しないツイートは、Twitterの仕様で不可能です。
似たようなアプリで、スパムツイートをされてしまうものがあるようですが、ツイートを検索してみると全員同じ数字なので診断メーカーとかで作った方がまだマシそうです。
こういうことを書くと、人数がランダムになるパワーアップとかされちゃうんでしょうけど。

色々見比べていると、2015年から存在するシステムっぽいですね。
そういうパッケージなのか、同じ人が運営しているのか。
at 21:39 2 comments
Labels:

2016/09/23

ぶろるっくの定期ツイート

拙作「ぶろるっく」での定期ツイートを希望する声が有ったので、追加してみました。
ただしちょっと回りくどいです。
（アプリ権限に書き込み属性を追加することも考えたのですが、またなんやかんや言われるのも面倒なので、別のサービスからツイートさせます。）

ここで紹介する方法の取扱いを間違うと、他人に被ブロック数が知られます。今から定期ツイートするって言ってるので、大丈夫だと思いますが、知られたくない人は以下は読まない方がいいでしょう。
また人に教えない限り、他人の被ブロック数はそう簡単に見られませんので、ご安心ください。

IFTTTを利用します。アカウントを持っていない方は用意してください。
IFTTTから定期的に、ぶろるっくを呼び出すレシピと、ぶろるっくから呼び出された内容をツイートするレシピの二つを作成します。

まずは、上の図で下の枠にあるぶろるっくからIFTTTを呼び出すレシピを作りましょう。

IFTTTのMy Recipesから「Create a Recipe」を押します。

thisの部分でMakerを選択。
Makerで何をするかを選ぶのですが、現在は一つしか選択肢がありません。

Receive a web reauestを選択します。
ウェブリクエストの受付、ぶろるっくからの受け口になる部分です。
トリガーの名前を決めます。
ここは、必ず「post_blolook」にしてください。
次にウェブリクエストを受けた後、どうするかの設定です。

thatはTwitterですね。
Twitterでいろいろ操作ができますが、ここはツイートを行うので「Post a tweet」を選びます。
ツイートの内容を決めます。

先に設定されている例文を消して、右上のフラスコマークを押します(1)。
選択肢が出てくるので「Value1」を選択し(2)、「Add Ingredient」を押します(3)。


2016/10/20 追記 Value2 を選択すると、被ブロック数のみのメッセージが投稿できます。

カーソルが離れるとValue1という表示になるので、「Create Action」を押します。

レシピの名前を付けろと言われますが、先に設定されているもので分かるでしょう。
さてここまで来たら、動作確認です。
ぶろるっくからIFTTTを呼び出すためのMakerキーを取得します。
https://ifttt.com/maker を開くとYour key is:のところに、英数字のコードが書かれています。
これをメモ帳などにコピーペーストしておいてください。
次にぶろるっくを開き、ログインして内容を確認してください。

分布グラフが表示されていたところに「APIKEY」というタブが追加されています。
切り替えると「Maker KEY」という入力欄があります。

ここへ先ほどコピーしたMakerキーをペーストしてください。

するとMaker URLという長いURLが表示されます。
これをコピーしてブラウザに貼り付けてジャンプしてください。はい、ツイートされましたか？

ツイートされればオッケーです。
これでぶろるっくからツイートができるようになりました。
しかしこのままでは毎回ブラウザから呼び出す必要があります。
ですので、これも自動化します。
最初の図の上の枠に当たる部分です。

再びIFTTTのMy Recipesから「Create a Recipe」を押します。

thisの部分でDate & Timeを選択。
どの間隔で呼び出すかを指定します。
あまり頻繁に呼び出すと、うざがられて被ブロックが増えます。やったね。
まあ、ほどほどに「Every day at」（毎日）ぐらいでしょうか。

ツイートさせたい時間を選択します。
thatはMakerを選択します。
何をさせるかですが、こちらも一つしかありません。
「Make a web request」を選択。
ここで、先ほどブラウザで呼び出したURLを設定します。

MethodはGETを指定してください。
名前は分かりやすい物を付けておくと良いでしょう。
これで定期的にぶろるっくの被ブロック数がツイートできるようになりました。

Maker URLやJSON URLを呼び出したときの内容を見て、分かる方もおられると思いますが、JSON形式のレスポンスが返ります。
独自に記録を蓄積していくなんて使い方も有りでしょう。
約1時間キャッシュしているので、あまり頻繁に呼び出しても変化はありません。

ぶろるっくの情報はデータ収集ありきですので、ツイートの際はblolook.osa-p.netへのリンクを付けていただけると嬉しいです。
Maker URLとJSON URLの違いは、makerkeyパラメータが有るか無いかだけです。
またlangで言語が切り替わります。ぶろるっくの画面右上のメニューから切り替えできます。

Maker URLやJSON URLを他人に教えると、他の人に被ブロック数が見られてしまいます。
結果は見ても、敢えてツイートしていなかった方はご注意ください。

「APIKEY Reset link」のURLをクリックすると、それまでのMaker URLやJSON URLが無効となります。


at 13:45 0 comments
Labels:

2016/09/05

ぶろるっく　最近のブロック集計 2016年9月


下限上限人数
10400000 10499999 1
7700000 7799999 1
5600000 5699999 1
2600000 2699999 1
1400000 1499999 1
1300000 1399999 25
1200000 1299999 6
600000 699999 1
500000 599999 5
400000 499999 1
300000 399999 3
200000 299999 5
100000 199999 76
90000 99999 5
80000 89999 4
70000 79999 8
60000 69999 8
50000 59999 24
40000 49999 57
30000 39999 126
20000 29999 64
10000 19999 150
9000 9999 45
8000 8999 60
7000 7999 69
6000 6999 119
5000 5999 232
4000 4999 528
3000 3999 909
2000 2999 1502
1000 1999 4047
900 999 911
800 899 1088
700 799 1403
600 699 1725
500 599 2183
400 499 3246
300 399 5443
200 299 10793
100 199 27782
1 99 258652
0 0 130993
合計452303
拙作「ぶろるっく」。なかなか一定の期間での集計になりませんが、まとめました。
右の表は、ブロック数です。

集計タイミングは2016年9月5日 20時
登録アカウント数 45万2303件

ブロックした件数の平均値は425、中央値は20でした。
ちなみに初めて集計しますが、被ブロック件数の平均値は17、中央値は4でした。

大量ブロックユーザーがおられますが、どんどん記録を伸ばして行っているようです。
また8万アカウントほどがアプリ連携を解除してしまっているので、全体的には減少傾向かもしれません。大量ブロックユーザーのおかげで平均値は上がりましたが、中央値は下がりました。

at 21:08 0 comments
Labels:

2016/08/23

DDoS攻撃を受けた

8月23日朝、メールボックスを見ると
「【重要】DoSアタック発生による通信回復処理のご報告」
「【重要】DoSアタック発生による通信回復処理停止のご報告」
「【重要】DoSアタック収束による通信遮断処理解除のご報告」
 という3通のメールが届いていた。

内容はosa-p.netのサブドメインのいくつかを収容しているさくらインターネットのVPSに、DoS攻撃が来ていたから通信を切ったよというものでした。
時系列に並べると
  1. DoSアタック検知時刻   ：2016年08月22日 15時05分10秒
  2. 通信遮断時刻         ：2016年08月22日 15時05分36秒
  3. 通信回復処理時刻     ：2016年08月22日 15時05分49秒
  4. 通信回復処理停止時刻 ：2016年08月22日 15時12分07秒
  5. 通信遮断処理解除時刻  ：2016年08月22日 21時19分28秒
という流れ。

最初DoS攻撃を検知(1)して通信を遮断(2)。
攻撃元をフィルターに追加して通信を回復(3)したのだけど、DDoS攻撃だったためフィルターも数が足りなくなり、回復を断念してサーバごとネットワークから切り離し(4)。
DDoS攻撃が収束したので、ネットワークに復帰(5)した。

メールサーバも同じサーバで管理しており、連絡先アドレスもこのサーバのドメインだったため、完全に事後で知ることになりました。
これはいかんなと思い、連絡先アドレスはgmailに変更。すると再び23日の昼にメールが届きました。
今度は2回目ということもあり、回復処理をすることもなく、いきなりネットワークから切られました。

なかなか回復しそうにないので、どのコンテンツが対象なのか調べてみたところ、ぶろるっくのDNSを自宅サーバに振ってみたところで自宅のRTX1200が反応。
CPU使用率・ファストパスのフロー数・NATのエントリー数がグラフの天井に張り付き、自宅ネットワークが不安定になりました。

さくらインターネットからもらっていたメールに、対象となった通信の概要が載っていたのですが、UDPパケットを投げまくって飽和させるタイプのようで、HTTPロードバランサ辺りを挟んでやれば何とかなりそうです。
cloudflareは以前使ったことがあるのですが、オリジンサーバの応答が遅いとすぐに「このサイトは落ちている」表示にされてしまい全然通信できなかったので、別のサービスを探してみたところ、さくらインターネットの「さくらのクラウド」にウェブアクセラレータがベータ版として公開されていました。
httpでの通信は上手くできたのですが、httpsはウェブアクセラレータのサブドメインとしてしか対応していないようなので、今はhttp専用と思った方が良いでしょう。

しかしVPSで運用していたとき、httpsのヘッダにHSTSの情報を付けていたため、httpのアドレスにアクセスしてもブラウザが自動的にhttps通信へと切り替えてしまいます。
しかも期限を1年としていたので、ブラウザの情報を消さない限り見られないような状態になってしまいました。

ここでVPSへの攻撃がなくなったようで通信が復旧。
HSTSの期限はhttpsのヘッダで返す形になっており、上書きされるようなので、短い時間に設定して元のVPSでサービスを再開しました。

また攻撃が来たら、httpだけで継続できるようにしようと思います。
at 23:36 0 comments
Labels: , ,

2016/04/25

ぶろるっく　最近のブロック集計

下限上限人数
2700000 2799999 1
2300000 2399999 1
1000000 1199999 31
900000 999999 1
300000 399999 2
200000 299999 2
100000 199999 44
90000 99999 5
80000 89999 4
70000 79999 6
60000 69999 8
50000 59999 26
40000 49999 45
30000 39999 114
20000 29999 51
10000 19999 129
9000 9999 24
8000 8999 35
7000 7999 50
6000 6999 79
5000 5999 150
4000 4999 420
3000 3999 638
2000 2999 1072
1000 1999 2818
900 999 685
800 899 732
700 799 891
600 699 1207
500 599 1494
400 499 2201
300 399 3621
200 299 7431
100 199 19140
1 99 164373
0 0 67191
合計274722
一定の期間で集計すれば良かったのでしょうか、忘れてしまっていたので、このタイミングで。

集計タイミングは2016年4月25日 9時
登録アカウント数 27万4722件

ブロックした件数の平均値は407、中央値は22でした。

200万件以上ブロックしている人が2人いるため、前回の集計より平均値が少し上がったでしょうか。

かなり前から、75000件以上ブロックしていても対策してあるのですが、こっちのブログではなくサイトの方に書かないと伝わらないよねということで、注釈が出るようにしました。
at 9:36 0 comments
Labels:

2016/03/04

ぶろるっくで大量にブロックしている人のデータを取り直し

下限上限人数
2300000 2399999 1
900000 999999 11
800000 899999 21
300000 399999 1
200000 299999 1
100000 199999 32
90000 99999 2
80000 89999 4
70000 79999 4
60000 69999 1
50000 59999 18
40000 49999 36
30000 39999 50
20000 29999 20
10000 19999 53
9000 9999 21
8000 8999 20
7000 7999 30
6000 6999 43
5000 5999 75
4000 4999 540
3000 3999 709
2000 2999 1165
1000 1999 3066
900 999 700
800 899 824
700 799 949
600 699 1325
500 599 1537
400 499 2281
300 399 3965
200 299 7880
100 199 20146
1 99 170146
0 0 36755
合計252432
75000件以上ブロックしている人のデータもきちんと取り直しました。

集計タイミングは2016年3月4日 22時
登録アカウント数 25万2432件

ブロックした件数の平均値は323、中央値は23でした。

あと、「パクころ」は関係なかったようです。
at 22:30 0 comments
Labels:

2016/02/24

「ぶろるっく」公開しています

TwitterでlikeやRTを記録しているサイト「ふぁぼるっく」を運営しているのですが、新しくブロック情報を数える「ぶろるっく」を公開しています。
おかげさまで多くの方に登録していただき、たくさんのブロック情報が集まりました。
下限上限人数
70000不明71
60000699990
500005999911
400004999920
300003999922
200002999917
100001999931
9000999916
8000899913
7000799915
6000699922
5000599938
40004999493
30003999649
200029991042
100019992719
900999620
800899714
700799828
6006991152
5005991303
4004991938
3003993410
2002996761
10019916936
199140651
0030045
合計209537
その中で、みんな一体どのくらいブロックしているんだ？ということで、ブロックした件数の集計を取ってみました。

集計タイミングは2016年2月24日 8時
登録アカウント数 20万9537件

70000件以上ブロックしたというアカウント71あります。Twitter APIの都合で、15分間に15回しか取得命令を出せず、1回の命令で5000件までしか取れません。15分以上掛けてじっくり粘ると75000件以上も取れるのですが、そこは手を抜いているので、ここで最大がどこまでかは確認していません。
「パクころ」あたりのツールを利用されているのでしょうか？

ブロックした件数の平均値は154、中央値は15でした。
多くの方が、それほどブロック機能は使っていないようです。
そして、0件という心の広い神か仏かという方が3万人もおられました。

あと、ブロックした覚えがないというツイートをちらほら見かけました。
Twitterのブロックしたユーザー一覧を確認してください。
Twitterのアプリ連携から、許可した覚えのないアプリがないか確認してください。
不正なツールで、勝手にブロックされる事例が以前ありました。

ブロックされているほうの件数については集計しません。
Twitterに流れてくるツイートを見ていると、みなさん誰かしらにはブロックされているようです。
at 8:38 0 comments
Labels: , , ,
登録: 投稿 (Atom)

広告