notestock( https://notestock.osa-p.net )はActivityPub対応のSNS（マストドンやPleromaなど）の投稿を記録し、日付別に表示したり検索できるサービスです。
インスタンスで検索機能が提供されていないので、過去に投稿した覚えがあるけどいつだったか忘れた、というようなときに使えるかと思います。
まだベータ版として機能が限られています。今後も機能を追加していきます。
スクリプト類とメニューボタン
2018/07/21
2018/05/22
Windows10 1803でスタートメニューが開かなくなった（解決済）
●結論は一番下に
Windows10 1803アップデート自体は特に問題もなかった（Edgeの動きがおかしくなりましたが、常用していないので、特に問題は無し）のですが、先日パソコンを終了しようと思ってスタートメニューをクリックすると、何も反応がない。訓練されたWindowsユーザーなので、まあExplorer.exeがハングアップしていて動かないのだろうと思い、そのときはAlt + F4で電源を落としました。
それ以降、いくら再起動してもスタートメニューが開かない。これはなんかおかしいなと気が付いて検索してみると、どうやら最近のスタートメニューはExplorer.exeではなくShellExperienceHost.exeという別のプロセスで動作しているらしいです。そして、スタートメニューが開かないのはこの実行ファイルが暴走しているから、タスクマネージャーから強制終了させるといいらしい。
しかしタスクマネージャーを確認してもそんな実行プロセスはいません。
ShellExperienceHost.exeが使用するスタートメニューの情報を記録しているタイルデータベースというものが壊れている場合、別のアカウントを作って動作すればそのアカウントに乗り換えろという指示も出てきました。
別アカウントを作ってもアプリの再インストールや再設定をしないといけないので、あまりやりたくないなと思いつつ試してみますが解決せず、どことなく一安心。
他に検索で出てくるディスク障害を解決するコマンド類
また、スタートメニューの問題を対処するという、そのものズバリのstartmenu.diagcabというツールもあったのですが、「Microsoft.Windows.ShellExperienceHost Microsoft.Windows.Cortanaアプリケーションを正しくインストールする必要があります。」というエラーと未解決という表示。対処とは🤔
他に出てくる対処として、PowerShellを使ってアプリを再インストールしろという
このPowerShellスクリプトは、インストール先にSystemAppsを含む既にインストールされているパッケージを再度登録するという物のようです。
どうやら、C:\Windows\SystemApps\ShellExperienceHost_cw5n1h2txyewy\resources.priが壊れているようで、そもそも壊れたファイルを再度登録しようとしても登録できないですね。
ふと思い出してシステム復元ポイントからの復元を試してみたのですが、一週間分2回ほどしか残っておらず、どちらもSystemAppsが何らかの問題で戻せなかったというエラー。復元ポイントを設定する時点で壊れていたようです。復元ポイントとは🤔
あと残されている提示された対処法は上書きインストールか、全部捨てて再インストールかというところだったのですが、そもそもこのSystemAppsをWin10のインストールメディアから取り出せないのか？と思ったのですが、最近はCABファイル形式ではないようで、またシステムファイルを簡単に差し替えたりできない機構が入っているので無理そうです。
システムの入れ直しを決意すると、取りあえず破壊的な作業もできるので、パッケージを完全に削除してしまうというものも試してみました。
試しているうちに何気なくスタートメニューをクリックすると、開くではないですか。
startmenu.diagcabによるとShellExperienceHostとCortanaが原因だったはずなのに、それ以外を消して解決するとは。
結局先ほどのコマンドでUWPアプリがまとめて消えたので、Microsoftストアからもう一度インストールする必要があります。
また今回の件を調べているうちに知った、コマンドラインからEdgeを起動する方法
explorer.exe shell:AppsFolder\Microsoft.MicrosoftEdge_8wekyb3d8bbwe!MicrosoftEdge
結論。PowerShellで
Windows10 1803アップデート自体は特に問題もなかった（Edgeの動きがおかしくなりましたが、常用していないので、特に問題は無し）のですが、先日パソコンを終了しようと思ってスタートメニューをクリックすると、何も反応がない。訓練されたWindowsユーザーなので、まあExplorer.exeがハングアップしていて動かないのだろうと思い、そのときはAlt + F4で電源を落としました。
それ以降、いくら再起動してもスタートメニューが開かない。これはなんかおかしいなと気が付いて検索してみると、どうやら最近のスタートメニューはExplorer.exeではなくShellExperienceHost.exeという別のプロセスで動作しているらしいです。そして、スタートメニューが開かないのはこの実行ファイルが暴走しているから、タスクマネージャーから強制終了させるといいらしい。
しかしタスクマネージャーを確認してもそんな実行プロセスはいません。
ShellExperienceHost.exeが使用するスタートメニューの情報を記録しているタイルデータベースというものが壊れている場合、別のアカウントを作って動作すればそのアカウントに乗り換えろという指示も出てきました。
別アカウントを作ってもアプリの再インストールや再設定をしないといけないので、あまりやりたくないなと思いつつ試してみますが解決せず、どことなく一安心。
他に検索で出てくるディスク障害を解決するコマンド類
dism /online /cleanup-image /restorehealth sfc /scannowも試してみましたが効果が無く。
また、スタートメニューの問題を対処するという、そのものズバリのstartmenu.diagcabというツールもあったのですが、「Microsoft.Windows.ShellExperienceHost Microsoft.Windows.Cortanaアプリケーションを正しくインストールする必要があります。」というエラーと未解決という表示。対処とは🤔
他に出てくる対処として、PowerShellを使ってアプリを再インストールしろという
Get-AppXPackage -AllUsers |Where-Object {$_.InstallLocation -like "*SystemApps*"} | Foreach {Add-AppxPackage -DisableDevelopmentMode -Register "$($_.InstallLocation)\AppXManifest.xml"}
しかしこちらもというエラー。Add-AppxPackage : 次の HRESULT で展開に失敗しました: 0x80073CF6, パッケージを登録できませんでした。
エラー 0x80073B1F: 次のエラーが発生したため、Microsoft.Windows.ShellExperienceHost_10.0.17134.1_neutral_neutral_cw5n1h2txyewy パッケージを登録できません: ResourceMap が見つかりません。
。パッケージの 'resources.pri' ファイルが有効であることを確認してください。
注意: 詳細については、イベント ログで [ActivityId] b5b9cffb-ef47-0003-f3e0-b9b547efd301 を検索するか、コマンド ラインの Get-AppxLog -ActivityID b5b9cffb-ef47-0003-f3e0-b9b547efd301 を使用してください
発生場所 行:1 文字:89
+ ... | Foreach {Add-AppxPackage -DisableDevelopmentMode -Register "$($_.I ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+ CategoryInfo : WriteError: (C:\Windows\Syst...ppXManifest.xml:String) [Add-AppxPackage], IOException
+ FullyQualifiedErrorId : DeploymentError,Microsoft.Windows.Appx.PackageManager.Commands.AddAppxPackageCommand
このPowerShellスクリプトは、インストール先にSystemAppsを含む既にインストールされているパッケージを再度登録するという物のようです。
どうやら、C:\Windows\SystemApps\ShellExperienceHost_cw5n1h2txyewy\resources.priが壊れているようで、そもそも壊れたファイルを再度登録しようとしても登録できないですね。
ふと思い出してシステム復元ポイントからの復元を試してみたのですが、一週間分2回ほどしか残っておらず、どちらもSystemAppsが何らかの問題で戻せなかったというエラー。復元ポイントを設定する時点で壊れていたようです。復元ポイントとは🤔
あと残されている提示された対処法は上書きインストールか、全部捨てて再インストールかというところだったのですが、そもそもこのSystemAppsをWin10のインストールメディアから取り出せないのか？と思ったのですが、最近はCABファイル形式ではないようで、またシステムファイルを簡単に差し替えたりできない機構が入っているので無理そうです。
システムの入れ直しを決意すると、取りあえず破壊的な作業もできるので、パッケージを完全に削除してしまうというものも試してみました。
Get-AppxPackage | Where-Object {$_.Name -ne "Microsoft.Windows.ShellExperienceHost"} | Where-Object {$_.Name -ne "Microsoft.Cortana"} | Remove-AppxPackage
ShellExperienceHostとCortana以外を消すというPowerShellスクリプトですが、かなりパッケージが入っているようで結構時間が掛かります。試しているうちに何気なくスタートメニューをクリックすると、開くではないですか。
startmenu.diagcabによるとShellExperienceHostとCortanaが原因だったはずなのに、それ以外を消して解決するとは。
結局先ほどのコマンドでUWPアプリがまとめて消えたので、Microsoftストアからもう一度インストールする必要があります。
Windows 10 に搭載されているアプリを再インストールする方法 - マイクロソフト コミュニティなぜかストアアプリが英語になってしまったのと、アラーム＆クロックだけがエラーコード0x80073D05でインストールできないのですが、取りあえず使える状態には戻りました。
https://answers.microsoft.com/ja-jp/windows/forum/apps_windows_10-outlook_mail/windows-10/239ef7e9-9f4f-40dc-bf41-2cd2b8217843
また今回の件を調べているうちに知った、コマンドラインからEdgeを起動する方法
explorer.exe shell:AppsFolder\Microsoft.MicrosoftEdge_8wekyb3d8bbwe!MicrosoftEdge
結論。PowerShellで
Get-AppxPackage | Where-Object {$_.Name -ne "Microsoft.Windows.ShellExperienceHost"} | Where-Object {$_.Name -ne "Microsoft.Cortana"} | Remove-AppxPackag
を流してUWPアプリを全削除、Microsoftストアから入れ直し。2018/04/19
マストドンを始めて1年過ぎた
あちこちでポエムが書かれているようなので、わたしも。
マストドン自体の歴史はもう半年ぐらい長いのですが、わたしも多くの日本人と同じように、やはり日本語で紹介されて始めた口です。当時は、まだTwitterを使いまくっていたのですが、ぶろるっく関連のスパム対応なんかで面倒だなぁと思っていた頃でした。
現在mstdn.jpインスタンスを公開しているぬるかる氏が、nil.nuドメインで立ち上げたよーというツイートをしているのを見かけて登録してみました。ユーザーID2番を取っちゃったのはボケ老人として語り続けていくでしょう。
この日はなんやかんやで人が殺到して、お祭り状態になっていました。当初は分散SNSというものを知らず、もっと歴史のあったGNU Socialなんかも、このとき初めて耳にしたのでした。
分散SNSの思想については、らりお氏の記事が詳しいです。
わたしにとって初めて触れる分散SNSという思想は、当時上手く解釈をすることができず、どのように複数のインスタンスを使い分けたらよいのかが理解できませんでした。マストドンには「ローカルタイムライン」という同じインスタンスに属する人の投稿が流れてくるタイムラインがあるのですが、これがチャットのような機能を果たしてしまうため、この中で話題を完結させてしまうと、外部の人とは会話がしづらいというものでした。
使っていくうちに、わたし自身が理解したこととしては、Twitterの時と同じように使うのが一番よいというものです。これは複数のインスタンスに所属して、アカウントごとに人格を切り替えて使うのではなく、一つのアカウントにプログラマーな自分も、ゲーマーな自分も、全部載せてしまうというものです。ありのままを見せるということですね。テーマなどを決めずに考えを垂れ流すことで、どんどん話題は移り変わっていきますし、「アカウント間違えました」なんて発言をしなくて済むわけです。
すっかりマストドンに取りつかれてしまったわたしは、mstdn.jpがサーバを強化している間に、別のインスタンスにアカウントを作成しました。Twitterでフォローしている中で、わりと技術者寄り的で雰囲気がよいグループのうちの一人がインスタンスを立てたというので、同じグループで一気に移住が進むかなと目論んでの参加でした。しかしこれは思惑が外れてしまい、グループの移住は進まず、管理者もほとんど姿を見せなくなってしまいました。こうなるとインスタンスがいつまで維持されるのか、不安との戦いになります。Twitterでもそれほどツイートはしない部類の人間だったのですが、それでもローカルタイムラインには自分の発言ばかりが並んでいて、むしろここに新しい人が入り込めると考えるだろうか？という状態でした。
マストドンにはローカルタイムラインの他に「連合タイムライン」というものがあり、これは同じインスタンスに参加している人達がフォローしているアカウントの発言が流れてきます。ここから外部の人達の存在を知ることができるわけです。また同じインスタンスの人も、よそのインスタンスの人も、フォローすることによってホームタイムラインに発言が並び、まさしくTwitterと同じように使うことができるのです。
極たまに現れるローカルタイムラインの他者の発言に乗っかっていき、話題を広げようとしてみたり、連合タイムラインから新しい人をフォローしてみたり、この時期は分散SNSの難しさみたいなものを実感することができました。人は、寂れたところにはなかなか集まらないものです。自分が作ったインスタンスではないわけで、いよいよこれは自分一人が頑張ってもどうにもならないぞと思い至り、インスタンスを移ることにしました。
連合SNSは自分でインスタンスを立てる事もできます。先に書いたように、ありのままの自分というものを見せて行くには、自分のドメインでそれを行うのが一番分かりやすいものでしょうし、誰にも束縛されないマイルールをインスタンスに敷くことができるのです。しかし、わたし自身が技術者の端くれとして、自分の管理下のものは端々まで把握しておきたいという気持ちがあります。マストドンが作られているのはRubyで、Dockerを使って運用するのがメインとなる動かし方でした。わたしはそのどちらも、ほとんど把握していません。何かあればコードを読んで理解することはできますが、修正が必要となったときに言語の作法などを知らないわけで上手く直せなかったりする可能性がありました。まだ自分でサービスを立てるのは時期尚早と判断し、次も他者が立てたサービスのお世話になることにしました。
次の移住先は、現在わたしがメインで利用しているmstdn.nere9.help（インターネット蟹工船（通称nere9（ねれないん）））インスタンスです。nere9では、管理者が複数居るということで、そのあたりもインスタンスを選んだ一因です。nere9では、考察の好きなユーザーがよく発言しているため、考えを垂れ流しているうちに話題が変わっていくわたしとしても性に合っていると思いました。また、自分と感覚の合う人がインスタンスに居るということは、その人達がフォローしているアカウントが連合タイムラインに並ぶということで、こちらも好みのアカウントが多く、新しいフォローの助けにもなりました。
こうした経験から、連合の人口が少ない状態でのインスタンスの選択は、わりと重要だということです。マストドンでは、ローカルタイムラインと連合タイムラインから新しい人を発見してフォローしていくという流れになります。Twitterでも、昔はパブリックタイムラインというTwitterを一つのインスタンスと見立てるとローカルタイムラインのようなものが有りました。そこはTwitterに参加している全員の発言が流れていたので、大変雑多なものでしたが、たくさん並ぶ他言語の中から日本語話者を金魚すくいのようにフォローしていくという感じでした。今振り返るとマストドンに熱狂した当時は、Twitterで経験した過去の感覚と同じものだったのではないかと思います。
現在はTwitterからはパブリックタイムラインは失われてしまい、多くの人が既にTwitterアカウントを所有しているという状態です。こうなると、なにかしら別のコミュニティで知り合ってアカウント情報を交換するという流れで、サービス上で新しい人を発見する必要はないのかもしれません。連合SNSもこれと同様に、人が増えていくことで新しい人を見つけにくいという問題は解消されていくのではないかと思っています。そうです、こうやってウェブサイトでアカウントの紹介をして、ぜひフォローしてねと書くのが当時のTwitterでした。
マストドンのアカウントです。 https://mstdn.nere9.help/@osapon
ぜひフォローしてみて、新しい人を発見する足がかりにしてみてください。
マストドンにはまってしまって、色々とマストドン関連サービスなんかも作ってしまいました。osa-p.netに並んでいます。ITmediaのマストドンつまみ食い日記にも紹介してもらったりしました。把握しきれない連合の流れや、自分の作ったものが紹介される事によるモチベーションなど、マストドンつまみ食い日記には大変お世話になっています。ITmediaは情報発信用にインスタンスを立ててアカウントを運用しているので、連合SNS内でも情報の出所が分かりやすく、大変活用されていると思います。
マストドンを使った1年目、新しい可能性をたくさん感じた年でした。まだまだ広がり始めたばかり（GNU Socialを昔から使っていた人達、ごめん！）の連合ですが、面白い世界にしていけたら良いなと思います。
マストドン自体の歴史はもう半年ぐらい長いのですが、わたしも多くの日本人と同じように、やはり日本語で紹介されて始めた口です。当時は、まだTwitterを使いまくっていたのですが、ぶろるっく関連のスパム対応なんかで面倒だなぁと思っていた頃でした。
現在mstdn.jpインスタンスを公開しているぬるかる氏が、nil.nuドメインで立ち上げたよーというツイートをしているのを見かけて登録してみました。ユーザーID2番を取っちゃったのはボケ老人として語り続けていくでしょう。
この日はなんやかんやで人が殺到して、お祭り状態になっていました。当初は分散SNSというものを知らず、もっと歴史のあったGNU Socialなんかも、このとき初めて耳にしたのでした。
分散SNSの思想については、らりお氏の記事が詳しいです。
gnusocial や mastodon の哲学 - 何とは言わない天然水飲みたさ
https://blog.cardina1.red/2017/04/13/federated-social-web/
わたしにとって初めて触れる分散SNSという思想は、当時上手く解釈をすることができず、どのように複数のインスタンスを使い分けたらよいのかが理解できませんでした。マストドンには「ローカルタイムライン」という同じインスタンスに属する人の投稿が流れてくるタイムラインがあるのですが、これがチャットのような機能を果たしてしまうため、この中で話題を完結させてしまうと、外部の人とは会話がしづらいというものでした。
使っていくうちに、わたし自身が理解したこととしては、Twitterの時と同じように使うのが一番よいというものです。これは複数のインスタンスに所属して、アカウントごとに人格を切り替えて使うのではなく、一つのアカウントにプログラマーな自分も、ゲーマーな自分も、全部載せてしまうというものです。ありのままを見せるということですね。テーマなどを決めずに考えを垂れ流すことで、どんどん話題は移り変わっていきますし、「アカウント間違えました」なんて発言をしなくて済むわけです。
すっかりマストドンに取りつかれてしまったわたしは、mstdn.jpがサーバを強化している間に、別のインスタンスにアカウントを作成しました。Twitterでフォローしている中で、わりと技術者寄り的で雰囲気がよいグループのうちの一人がインスタンスを立てたというので、同じグループで一気に移住が進むかなと目論んでの参加でした。しかしこれは思惑が外れてしまい、グループの移住は進まず、管理者もほとんど姿を見せなくなってしまいました。こうなるとインスタンスがいつまで維持されるのか、不安との戦いになります。Twitterでもそれほどツイートはしない部類の人間だったのですが、それでもローカルタイムラインには自分の発言ばかりが並んでいて、むしろここに新しい人が入り込めると考えるだろうか？という状態でした。
マストドンにはローカルタイムラインの他に「連合タイムライン」というものがあり、これは同じインスタンスに参加している人達がフォローしているアカウントの発言が流れてきます。ここから外部の人達の存在を知ることができるわけです。また同じインスタンスの人も、よそのインスタンスの人も、フォローすることによってホームタイムラインに発言が並び、まさしくTwitterと同じように使うことができるのです。
極たまに現れるローカルタイムラインの他者の発言に乗っかっていき、話題を広げようとしてみたり、連合タイムラインから新しい人をフォローしてみたり、この時期は分散SNSの難しさみたいなものを実感することができました。人は、寂れたところにはなかなか集まらないものです。自分が作ったインスタンスではないわけで、いよいよこれは自分一人が頑張ってもどうにもならないぞと思い至り、インスタンスを移ることにしました。
連合SNSは自分でインスタンスを立てる事もできます。先に書いたように、ありのままの自分というものを見せて行くには、自分のドメインでそれを行うのが一番分かりやすいものでしょうし、誰にも束縛されないマイルールをインスタンスに敷くことができるのです。しかし、わたし自身が技術者の端くれとして、自分の管理下のものは端々まで把握しておきたいという気持ちがあります。マストドンが作られているのはRubyで、Dockerを使って運用するのがメインとなる動かし方でした。わたしはそのどちらも、ほとんど把握していません。何かあればコードを読んで理解することはできますが、修正が必要となったときに言語の作法などを知らないわけで上手く直せなかったりする可能性がありました。まだ自分でサービスを立てるのは時期尚早と判断し、次も他者が立てたサービスのお世話になることにしました。
次の移住先は、現在わたしがメインで利用しているmstdn.nere9.help（インターネット蟹工船（通称nere9（ねれないん）））インスタンスです。nere9では、管理者が複数居るということで、そのあたりもインスタンスを選んだ一因です。nere9では、考察の好きなユーザーがよく発言しているため、考えを垂れ流しているうちに話題が変わっていくわたしとしても性に合っていると思いました。また、自分と感覚の合う人がインスタンスに居るということは、その人達がフォローしているアカウントが連合タイムラインに並ぶということで、こちらも好みのアカウントが多く、新しいフォローの助けにもなりました。
こうした経験から、連合の人口が少ない状態でのインスタンスの選択は、わりと重要だということです。マストドンでは、ローカルタイムラインと連合タイムラインから新しい人を発見してフォローしていくという流れになります。Twitterでも、昔はパブリックタイムラインというTwitterを一つのインスタンスと見立てるとローカルタイムラインのようなものが有りました。そこはTwitterに参加している全員の発言が流れていたので、大変雑多なものでしたが、たくさん並ぶ他言語の中から日本語話者を金魚すくいのようにフォローしていくという感じでした。今振り返るとマストドンに熱狂した当時は、Twitterで経験した過去の感覚と同じものだったのではないかと思います。
現在はTwitterからはパブリックタイムラインは失われてしまい、多くの人が既にTwitterアカウントを所有しているという状態です。こうなると、なにかしら別のコミュニティで知り合ってアカウント情報を交換するという流れで、サービス上で新しい人を発見する必要はないのかもしれません。連合SNSもこれと同様に、人が増えていくことで新しい人を見つけにくいという問題は解消されていくのではないかと思っています。そうです、こうやってウェブサイトでアカウントの紹介をして、ぜひフォローしてねと書くのが当時のTwitterでした。
マストドンのアカウントです。 https://mstdn.nere9.help/@osapon
ぜひフォローしてみて、新しい人を発見する足がかりにしてみてください。
マストドンにはまってしまって、色々とマストドン関連サービスなんかも作ってしまいました。osa-p.netに並んでいます。ITmediaのマストドンつまみ食い日記にも紹介してもらったりしました。把握しきれない連合の流れや、自分の作ったものが紹介される事によるモチベーションなど、マストドンつまみ食い日記には大変お世話になっています。ITmediaは情報発信用にインスタンスを立ててアカウントを運用しているので、連合SNS内でも情報の出所が分かりやすく、大変活用されていると思います。
マストドンを使った1年目、新しい可能性をたくさん感じた年でした。まだまだ広がり始めたばかり（GNU Socialを昔から使っていた人達、ごめん！）の連合ですが、面白い世界にしていけたら良いなと思います。
2018/04/06
フォローリンクに機能追加しました
今年初のブログ記事です。
一応更新などはしているのですが、SNSをやり始めるとどうしてもそちらに投げるのが楽で、まとめて記事にしておくのがおろそかになりますね。
以前発表（ITmedia記事・この日記の記事）した、マストドンでのフォロー状態を表示する「フォローリンク」ですが、新しい機能が追加されています。
まず、マストドンというのはSNSですが、特定の取り決めがあって、他のSNSとも接続できるのですね。このあたりは、マストドンについて調べてもらうと、他の人が書いている記事の解説がわかりやすいでしょう。
簡単に説明すると、マストドン以外にも、マストドンの元祖とも言えるGNU Socialや、新しく出てきたPleromaなどもあり、これらは互いに意識することなくフォローしあえるのです。これらは製品の名前であって、それぞれ各自が好きなように場（インスタンス）を作れます。Twitterみたいなのがいっぱいあると思ってもらえばいいでしょう。そしてお互いにやり取りできるので、それぞれにアカウントを作る必要はなく、どこか一カ所（のインスタンス）にアカウントをつくって、他の人をフォローすれば、他のインスタンスの人でもタイムラインに投稿が流れてくるので、便利です。
で、話を戻して、最初に描いたフォローリンクがこのフォロー状態を表示するのですが、新機能の1点目として、今までマストドンにしか対応していなかったものが、GNU SocialとPleromaにも対応しました。
より完璧に近いフォロー状態が表示できるようになりました。
2点目は、この機能を使って、フォロー状態をバックアップするツールを作りました。
マストドンではフォロー状態のインポート・エクスポート機能があるので、それを使って移動ができるのですが、インスタンスのトラブルなどで接続できなくなってしまうことがあるかもしれません。
このバックアップツールを使っておくと、定期的にフォロー状態を取り込んでおくので、いざというときにこのツールからフォロー状態のリストを取り出すことができます。
3点目は、これらの取り込んだ情報から、お勧めユーザーを紹介する機能です。
フォローをしてタイムラインにその人が居るということは、少なくとも見たくないユーザーではないと言うことです。そのユーザーがフォローしている人も同様だと考えると、「フォローしている人のフォローしている人」 もフォローしちゃって良いのでは？と言うことでお勧めとして紹介します。
インスタンスが離れていると、好みのユーザーを見つけにくいというのが現在GNU Socialをはじめとする分散SNSの問題ではないかと、わたしの観測範囲では言われているのですが、その解決に一つになれば良いなと思います。
もうちょっと精度を上げる方法も有るだろうと考えているのですが、まだデータ収集が十分ではないので、そのあたりを変えていけたらなと思っています。
そんなわけで、現在わたしはマストドンをメインに活動しています。
よろしければフォローしてみてください。
https://mstdn.nere9.help/@osapon
一応更新などはしているのですが、SNSをやり始めるとどうしてもそちらに投げるのが楽で、まとめて記事にしておくのがおろそかになりますね。
以前発表（ITmedia記事・この日記の記事）した、マストドンでのフォロー状態を表示する「フォローリンク」ですが、新しい機能が追加されています。
まず、マストドンというのはSNSですが、特定の取り決めがあって、他のSNSとも接続できるのですね。このあたりは、マストドンについて調べてもらうと、他の人が書いている記事の解説がわかりやすいでしょう。
簡単に説明すると、マストドン以外にも、マストドンの元祖とも言えるGNU Socialや、新しく出てきたPleromaなどもあり、これらは互いに意識することなくフォローしあえるのです。これらは製品の名前であって、それぞれ各自が好きなように場（インスタンス）を作れます。Twitterみたいなのがいっぱいあると思ってもらえばいいでしょう。そしてお互いにやり取りできるので、それぞれにアカウントを作る必要はなく、どこか一カ所（のインスタンス）にアカウントをつくって、他の人をフォローすれば、他のインスタンスの人でもタイムラインに投稿が流れてくるので、便利です。
で、話を戻して、最初に描いたフォローリンクがこのフォロー状態を表示するのですが、新機能の1点目として、今までマストドンにしか対応していなかったものが、GNU SocialとPleromaにも対応しました。
より完璧に近いフォロー状態が表示できるようになりました。
2点目は、この機能を使って、フォロー状態をバックアップするツールを作りました。
マストドンではフォロー状態のインポート・エクスポート機能があるので、それを使って移動ができるのですが、インスタンスのトラブルなどで接続できなくなってしまうことがあるかもしれません。
このバックアップツールを使っておくと、定期的にフォロー状態を取り込んでおくので、いざというときにこのツールからフォロー状態のリストを取り出すことができます。
3点目は、これらの取り込んだ情報から、お勧めユーザーを紹介する機能です。
フォローをしてタイムラインにその人が居るということは、少なくとも見たくないユーザーではないと言うことです。そのユーザーがフォローしている人も同様だと考えると、「フォローしている人のフォローしている人」 もフォローしちゃって良いのでは？と言うことでお勧めとして紹介します。
インスタンスが離れていると、好みのユーザーを見つけにくいというのが現在GNU Socialをはじめとする分散SNSの問題ではないかと、わたしの観測範囲では言われているのですが、その解決に一つになれば良いなと思います。
もうちょっと精度を上げる方法も有るだろうと考えているのですが、まだデータ収集が十分ではないので、そのあたりを変えていけたらなと思っています。
そんなわけで、現在わたしはマストドンをメインに活動しています。
よろしければフォローしてみてください。
https://mstdn.nere9.help/@osapon
2017/12/02
マストドンのフォロー状態可視化ツール「フォローリンク」
Mastodon 2 Advent Calendar 2017の2日目です。
昨日はナツキさんのマストポータルについてでした。
トゥートでの発表はしていたのですが、自分のブログでは書いていなかったので、改めて紹介します。
マストドンでのフォロー・被フォロー状態を可視化するツール「フォローリンク」を作りました。
昔、mixiGraphという友達状態を表示するソフトが有り、あれはWindowsやMac上で動作するソフトでしたが、こちらはブラウザ上で動作します。
ただし、ひたすらに重たいです。
画面上に表示されるアカウントが1000アカウントを越えるぐらいから重たくなってくるかと思います。
表示するアカウントの関係として
内部的な話もしておきましょう。
フォローリンクの表示処理自体はJavaScriptでSVGを操作して行っています。D3.jsのForceグラフ機能を使って座標計算を行っています。この処理がCPUを使い切って重たいのです。
計算処理部分だけをWeb Workerとして切り出し、ブラウザのUIスレッドと分けることでフリーズしたような重さを避けることができるのですが・・・。フォローリンクでは、随時表示アカウントの追加などが行われます。
その他ドラッグしてアカウントの表示場所を移動させたり、何かと計算中でも外部からの変更が行われます。
このため、計算用スレッドとのやり取りが多くなり、現状の処理をちょろっと書き換えただけでWeb Workerに切り出すのは難しそうだという考えになりました。
たぶん、Web Workerで計算部分だけ切り出すなら、WebGLとかでGPUに計算させた方がもっと効率よさそうだな、とか。
そしてサーバ側。フォロー情報については、フォローリンクのサーバでキャッシュをしています。これは複数の人が同じアカウントの情報を見ようとしたときに、個別にマストドンインスタンスへフォロー情報を取りに行くとインスタンス側へ負荷をかけてしまうため、その対策としてキャッシュを持っています。
マストドンのフォローページをjson形式で要求することで、ブラウザに表示するHTML形式より少ない転送量で、またプログラムで処理しやすい形式として取得することができます。フォロー情報は少しずつ変わっていくと思いますので、24時間キャッシュが残るようにしています。
このjson形式での取得がGNU SocialやPleromaが現在対応していないため、マストドンだけの対応となっています。
他にも便利そうな機能があれば追加したいと思っていますので、なにか要望があれば @osapon@mstdn.nere9.help まで連絡ください！
追伸1 ITmediaにも記事にしていただきました。
マストドンのフォロー状態を可視化する「フォローリンク」
追伸2 他のマストドンアドベントカレンダーも楽しみですね。
Mastodon Advent Calendar 2017（Adventar）
Mastodon 2 Advent Calendar 2017（これ）
Mastodon Advent Calendar 2017（Qiita）
mstdn.jp Advent Calendar 2017
knzk.me Advent Calendar 2017
nico.friends Advent Calendar 2017
ますとどんちほーりれーマンガ Advent Calendar 2017
昨日はナツキさんのマストポータルについてでした。
トゥートでの発表はしていたのですが、自分のブログでは書いていなかったので、改めて紹介します。
マストドンでのフォロー・被フォロー状態を可視化するツール「フォローリンク」を作りました。
昔、mixiGraphという友達状態を表示するソフトが有り、あれはWindowsやMac上で動作するソフトでしたが、こちらはブラウザ上で動作します。
 |  |
画面上に表示されるアカウントが1000アカウントを越えるぐらいから重たくなってくるかと思います。
表示するアカウントの関係として
- 相互フォローだけ見る
- フォローだけ見る
- 被フォローだけ見る
- フォローだけ見る（相互フォローを除く）
- 被フォローだけ見る （相互フォローを除く）
- フォロー・被フォローを見る
内部的な話もしておきましょう。
フォローリンクの表示処理自体はJavaScriptでSVGを操作して行っています。D3.jsのForceグラフ機能を使って座標計算を行っています。この処理がCPUを使い切って重たいのです。
計算処理部分だけをWeb Workerとして切り出し、ブラウザのUIスレッドと分けることでフリーズしたような重さを避けることができるのですが・・・。フォローリンクでは、随時表示アカウントの追加などが行われます。
その他ドラッグしてアカウントの表示場所を移動させたり、何かと計算中でも外部からの変更が行われます。
このため、計算用スレッドとのやり取りが多くなり、現状の処理をちょろっと書き換えただけでWeb Workerに切り出すのは難しそうだという考えになりました。
たぶん、Web Workerで計算部分だけ切り出すなら、WebGLとかでGPUに計算させた方がもっと効率よさそうだな、とか。
そしてサーバ側。フォロー情報については、フォローリンクのサーバでキャッシュをしています。これは複数の人が同じアカウントの情報を見ようとしたときに、個別にマストドンインスタンスへフォロー情報を取りに行くとインスタンス側へ負荷をかけてしまうため、その対策としてキャッシュを持っています。
マストドンのフォローページをjson形式で要求することで、ブラウザに表示するHTML形式より少ない転送量で、またプログラムで処理しやすい形式として取得することができます。フォロー情報は少しずつ変わっていくと思いますので、24時間キャッシュが残るようにしています。
このjson形式での取得がGNU SocialやPleromaが現在対応していないため、マストドンだけの対応となっています。
他にも便利そうな機能があれば追加したいと思っていますので、なにか要望があれば @osapon@mstdn.nere9.help まで連絡ください！
追伸1 ITmediaにも記事にしていただきました。
マストドンのフォロー状態を可視化する「フォローリンク」
追伸2 他のマストドンアドベントカレンダーも楽しみですね。
Mastodon Advent Calendar 2017（Adventar）
Mastodon 2 Advent Calendar 2017（これ）
Mastodon Advent Calendar 2017（Qiita）
mstdn.jp Advent Calendar 2017
knzk.me Advent Calendar 2017
nico.friends Advent Calendar 2017
ますとどんちほーりれーマンガ Advent Calendar 2017
2017/11/05
ぶろるっくがサスペンドされています
タイトル通り、現在拙作「ぶろるっく」は10月31日からTwitter社によってサスペンドされています。
Twitter社からのメールには、Developer Policy: Section I.C.1.d-eに違反していると書かれていました。
セクションIのCの1のdとeには以下のように書かれています。
非公開情報（この場合ブロック情報を指すのでしょう）を収集するときに、ユーザーに同意を得よということなのですが、それはログインボタンの下に太字で書かれていました。
ひとまず説明の一行目にも追加して、問い合わせを送り、11月1日に以下のような再審査する旨のメールが来ました。
これが届くと、すぐに回復するらしいのですが、時間が掛かっているようです。
わたしの方ではどうすることも出来ないので、Twitter社の対応待ちです。
よく分からないのは、他のアプリも同じ理由で止められているのですが、問題のないアプリもあります。
テスト用アプリで、どこにも公開していないものや、自分がKrileにセットして使う用のものまで止められているので、基準が分かりません。自分用のアプリはどうやってポリシーを明示すれば良いのでしょうか。
この状態で新しいアプリを作成するのは危険すぎるので、Krile用の新しいアプリは作らずに、Twitterを見なくなってしまいました。
スマホの通知を見るのは気が付いたときだけなので、なにか連絡があればマストドン（ https://mstdn.nere9.help/@osapon ）の方にいただけると助かります。
またスパムアプリチェックのアプリだけお目こぼしをいただいている様ですが、スパムツイートをチェックするアプリが止められているので、システムとしては効果がありません。
ぶろるっくのトークンが100万を越えそうだったので、問い合わせをしたのですが、完全にやぶ蛇という感じです。
Twitter社は大阪にもオフィスがあるようですが、お伺いした方が良いんでしょうか。
12月12日追記
新しいアプリとして登録し直しました。
過去の登録情報は削除しています。
Twitter社からのメールには、Developer Policy: Section I.C.1.d-eに違反していると書かれていました。
セクションIのCの1のdとeには以下のように書かれています。
- C. Respect Users’ Control and Privacy
- 1.Get the user’s express consent before you do any of the following:
- d.Store non-public Content such as Direct Messages or other private or confidential information.
- e.Share or publish protected Content, private or confidential information.
非公開情報（この場合ブロック情報を指すのでしょう）を収集するときに、ユーザーに同意を得よということなのですが、それはログインボタンの下に太字で書かれていました。
ひとまず説明の一行目にも追加して、問い合わせを送り、11月1日に以下のような再審査する旨のメールが来ました。
わたしの方ではどうすることも出来ないので、Twitter社の対応待ちです。
テスト用アプリで、どこにも公開していないものや、自分がKrileにセットして使う用のものまで止められているので、基準が分かりません。自分用のアプリはどうやってポリシーを明示すれば良いのでしょうか。
この状態で新しいアプリを作成するのは危険すぎるので、Krile用の新しいアプリは作らずに、Twitterを見なくなってしまいました。
スマホの通知を見るのは気が付いたときだけなので、なにか連絡があればマストドン（ https://mstdn.nere9.help/@osapon ）の方にいただけると助かります。
またスパムアプリチェックのアプリだけお目こぼしをいただいている様ですが、スパムツイートをチェックするアプリが止められているので、システムとしては効果がありません。
ぶろるっくのトークンが100万を越えそうだったので、問い合わせをしたのですが、完全にやぶ蛇という感じです。
Twitter社は大阪にもオフィスがあるようですが、お伺いした方が良いんでしょうか。
12月12日追記
新しいアプリとして登録し直しました。
過去の登録情報は削除しています。
2017/10/01
ふぁぼるっくの収集を停止しました
2009年7月から8年続けてきたふぁぼるっくですが、この度データの収集を停止しました。
公開されているサイトも、そのうち停止します。
公開当初は、まだふぁぼったーが有って、まだfavstarは無い状態でした。
ふぁぼったーの収集状況が完璧ではなかったのを見つけて作り始め、自分自身が面白いと感じるツイートを見つけるために開発を続けてきました。
ふぁぼ爆撃などの文化が生まれたため、アカウント毎にふぁぼの重み付けなどを行い、「あまりふぁぼらない人のふぁぼは貴重」という評価からスコアを算出したりしていました。
複数のサーバを運用し、収集したデータを一つのデータベースへ集め、色々と新技術を試してみたりする実験的なプロジェクトとしても役立ちました。
個人的にこれだけの大規模データを処理したことがなかったので、大変勉強になりました。
多くの方に支持をいただき、一時期はたくさんの方に見ていただけたのですが、設備投資が追いつかないままに競合が登場し、すっかり注目を集められないプロジェクトとなってしまいました。
今後もデータが増え続ける中で、運用にかかるコストが大きくなりすぎてしまい、 趣味の延長として続けるには辛くなってきたので、そろそろ終わりだなと決断した次第です。
アプリケーション連携をしてくれた皆さん、見に来てくれた皆さん、ありがとうございました。
公開されているサイトも、そのうち停止します。
公開当初は、まだふぁぼったーが有って、まだfavstarは無い状態でした。
ふぁぼったーの収集状況が完璧ではなかったのを見つけて作り始め、自分自身が面白いと感じるツイートを見つけるために開発を続けてきました。
ふぁぼ爆撃などの文化が生まれたため、アカウント毎にふぁぼの重み付けなどを行い、「あまりふぁぼらない人のふぁぼは貴重」という評価からスコアを算出したりしていました。
複数のサーバを運用し、収集したデータを一つのデータベースへ集め、色々と新技術を試してみたりする実験的なプロジェクトとしても役立ちました。
個人的にこれだけの大規模データを処理したことがなかったので、大変勉強になりました。
多くの方に支持をいただき、一時期はたくさんの方に見ていただけたのですが、設備投資が追いつかないままに競合が登場し、すっかり注目を集められないプロジェクトとなってしまいました。
今後もデータが増え続ける中で、運用にかかるコストが大きくなりすぎてしまい、 趣味の延長として続けるには辛くなってきたので、そろそろ終わりだなと決断した次第です。
つらみポイント
- 公開当初、Twitter API勉強会@大阪で発表枠の申し込みに遅れ、知名度アップのスタートダッシュに失敗した。
- クライアント作者へふぁぼるっくの宣伝をしなかったため、ふぁぼったーを開く機能を持っていたクライアントは軒並みfavstarに対応した。いやらしいかなと思ってやらなかったんだけど、もっと出て行かないと存在を示せない。
- 自宅サーバから始まり、VPSへ移行し、AWSへ移り、再び自宅サーバへ戻ってきたが、データ取得部分だけはAWSに残していて費用が辛い。しかし現状が一番マシ。
- AWS時代はサーバ代・通信量だけで年間80万円掛かっていた。スポットインスタンスとかも活用していたんだけど。それとは別に自宅サーバも別に運用。全データをインターネット側に置く費用は用意できなかった。
- 広告を貼っているが年間5000円も収益がない。広告が非表示・別インデックスで表示が高速化される有料会員制度を作ってみたりしたが、契約はゼロだった。お試しみたいな宣伝が必要だったと思う。
- 現在は2TBのSSDを5台でRAID5を構成しているが、寿命がどんどん削れる。2年は持たなさそう。
- データベースはPostgreSQLで運用しているが、トランザクションID周回によるバキュームが常に動き続けている状態。そのうち間に合わなくなるのでは。データベースインスタンスそのものを水平分割するべきなのだろうけど、同じスペックのサーバを揃える費用が…。
- スコア計算を導入したが、Twitterがインフラとして広がるにつれて計算量が爆発的に増えてしまい、当初は10分で終わっていた毎時処理が最終的には2週間以上も掛かるようになってしまった。Xeonの10コア20スレッド、メモリ64MBのサーバが常にロードアベレージ60以上。ぶろるっくも同じデータベースサーバで管理しているので、負荷に引きずられる。
- 自分がマストドン( @osapon@mstdn.nere9.help )へ移行してしまい、Twitterの面白い話題を追いかけることが無くなった。面白い話題は大体RTで回ってくるのと、ふぁぼるっく側でスコア計算をやめてしまったため、自分自身がふぁぼるっくを見なくなってしまった。
- 新しいこともしてみたくなる中で、ストレージの再設計とそれに伴う作り直しをするモチベーションが沸かなかった。
- ふぁぼがいいねに変更されて、名前の由来が分からなくなった。（一番つらい）
収集したデータ
| アカウント数 | 54,906,240 |
| ツイート数 | 5,878,570,230 |
| ふぁぼ数 | 35,238,885,993 |
| RT数 | 10,629,973,759 |
| データベースサイズ | 4.42TB |
アプリケーション連携をしてくれた皆さん、見に来てくれた皆さん、ありがとうございました。
2017/09/28
スパムツイートをしているアプリの広告について調べてみた（その4・自動フォロー）
Twitterで猛威を振るっているスパムアプリですが、どういう広告をしているのか調べてみました。第4弾です。
スパムアプリに書き込み権限を渡すことで、勝手にツイートされたりフォローが行われたりします。
今回は勝手にフォローしてしまうアカウントについてまとめてみました。
これらのアカウントは、普通の人間を装っていますが、そのうち広告ツイートなどを行うと思われます。
フォロワーが居ることでブロックによる凍結から回避する狙いも有るかもしれません。
他にアカウントを見ていると、フォロー販売の材料にもされているようです。
以下のようなアカウントがあります。
リンク先はユーザーIDで指定してあるので、スクリーンネームが変わっている場合が有るかもしれませんが、同じアカウントです。
自動でスパムアプリにだけ感染するアカウントを作って調査をしているため、間違いはないです。
ユーザーID:2156597922 @jp100i
ユーザーID:3167516418 @uwasanosa_twi
ユーザーID:3502212972 @gj495t2
ユーザーID:916250641097355266 @nagisa969001
ユーザーID:921205038508269569 @arisaend
ユーザーID:1031791578023526406 @wannnnpi_su
ユーザーID:1032989500895506432 @chun_chunzZ
ユーザーID:1032457054483492865 @iyashinomovie
ユーザーID:1032994542566264832 @YYutinik
ユーザーID:1033159225311019010 @kawah5chan
ユーザーID:1033163726587748352 @takkuHGK
ユーザーID:1033166605394501632 @kaminohima
ユーザーID:1209654742508421120 @lupinboat
ユーザーID:698044217357049856 @twijapa
ユーザーID:840157651161948161 @sayumi_jyi_ise
ユーザーID:840524552966828032
ユーザーID:903145563897479168
ユーザーID:903200178110210048
ユーザーID:903488880896163841
ユーザーID:904306316948025344
ユーザーID:904310023949451266
ユーザーID:905672172131074048
ユーザーID:905681444764135424
ユーザーID:905713897868365824
ユーザーID:906407496721432576
ユーザーID:906436615588913152
ユーザーID:906452834647908353
ユーザーID:906467391818817537
ユーザーID:912261008818806784
ユーザーID:912918604169056256
ユーザーID:912956841491021824
ユーザーID:912967285538566144
ユーザーID:913989707498905600
ユーザーID:914004201805455360
ユーザーID:914693585756348416
ユーザーID:914694969935355905
ユーザーID:917949702074646528
ユーザーID:917957673349533703
ユーザーID:918345908693057536
ユーザーID:918706129068212226
（新しいアカウントが見つかれば更新します）
間違ってもフォローなどしないように、ご注意ください。
ブロックしておいても、ブロックを解除されてフォローさせられている場合があります。
TLに見覚えのないアカウントの投稿が流れてきたら、注意してください。
引用RTをするアカウントにも注意してください。
スパムアプリに書き込み権限を渡すことで、勝手にツイートされたりフォローが行われたりします。
今回は勝手にフォローしてしまうアカウントについてまとめてみました。
これらのアカウントは、普通の人間を装っていますが、そのうち広告ツイートなどを行うと思われます。
フォロワーが居ることでブロックによる凍結から回避する狙いも有るかもしれません。
他にアカウントを見ていると、フォロー販売の材料にもされているようです。
以下のようなアカウントがあります。
リンク先はユーザーIDで指定してあるので、スクリーンネームが変わっている場合が有るかもしれませんが、同じアカウントです。
自動でスパムアプリにだけ感染するアカウントを作って調査をしているため、間違いはないです。
注意が必要なアカウント
ユーザーID:14733825 @120ユーザーID:2156597922 @jp100i
ユーザーID:3167516418 @uwasanosa_twi
ユーザーID:3502212972 @gj495t2
ユーザーID:916250641097355266 @nagisa969001
ユーザーID:921205038508269569 @arisaend
ユーザーID:1031791578023526406 @wannnnpi_su
ユーザーID:1032989500895506432 @chun_chunzZ
ユーザーID:1032457054483492865 @iyashinomovie
ユーザーID:1032994542566264832 @YYutinik
ユーザーID:1033159225311019010 @kawah5chan
ユーザーID:1033163726587748352 @takkuHGK
ユーザーID:1033166605394501632 @kaminohima
ユーザーID:1209654742508421120 @lupinboat
凍結されました。通報してくれた方ありがとう
ユーザーID:3302232746 @twispotlightユーザーID:698044217357049856 @twijapa
ユーザーID:840157651161948161 @sayumi_jyi_ise
ユーザーID:840524552966828032
ユーザーID:903145563897479168
ユーザーID:903200178110210048
ユーザーID:903488880896163841
ユーザーID:904306316948025344
ユーザーID:904310023949451266
ユーザーID:905672172131074048
ユーザーID:905681444764135424
ユーザーID:905713897868365824
ユーザーID:906407496721432576
ユーザーID:906436615588913152
ユーザーID:906452834647908353
ユーザーID:906467391818817537
ユーザーID:912261008818806784
ユーザーID:912918604169056256
ユーザーID:912956841491021824
ユーザーID:912967285538566144
ユーザーID:913989707498905600
ユーザーID:914004201805455360
ユーザーID:914693585756348416
ユーザーID:914694969935355905
ユーザーID:917949702074646528
ユーザーID:917957673349533703
ユーザーID:918345908693057536
ユーザーID:918706129068212226
（新しいアカウントが見つかれば更新します）
間違ってもフォローなどしないように、ご注意ください。
ブロックしておいても、ブロックを解除されてフォローさせられている場合があります。
TLに見覚えのないアカウントの投稿が流れてきたら、注意してください。
引用RTをするアカウントにも注意してください。
登録:
投稿 (Atom)