論文の概要: Revisiting Algorithmic Audits of TikTok: Poor Reproducibility and Short-term Validity of Findings
- arxiv url: http://arxiv.org/abs/2504.18140v1
- Date: Fri, 25 Apr 2025 07:50:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.68229
- Title: Revisiting Algorithmic Audits of TikTok: Poor Reproducibility and Short-term Validity of Findings
- Title（参考訳）: TikTokのアルゴリズム監査の再検討 : 発見の再現性の低さと短期的妥当性
- Authors: Matej Mosnar, Adam Skurla, Branislav Pecher, Matus Tibensky, Jan Jakubcik, Adrian Bindas, Peter Sakalik, Ivan Srba,
- Abstract要約: 本稿では,TikTokレコメンデータシステムの既存のソックパペット監査の欠点と一般化可能性について検討する。
また,これらの単発検査は短期的にのみ実施されることが多かった。
- 参考スコア（独自算出の注目度）: 3.682493598086475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social media platforms are constantly shifting towards algorithmically curated content based on implicit or explicit user feedback. Regulators, as well as researchers, are calling for systematic social media algorithmic audits as this shift leads to enclosing users in filter bubbles and leading them to more problematic content. An important aspect of such audits is the reproducibility and generalisability of their findings, as it allows to draw verifiable conclusions and audit potential changes in algorithms over time. In this work, we study the reproducibility of the existing sockpuppeting audits of TikTok recommender systems, and the generalizability of their findings. In our efforts to reproduce the previous works, we find multiple challenges stemming from social media platform changes and content evolution, but also the research works themselves. These drawbacks limit the audit reproducibility and require an extensive effort altogether with inevitable adjustments to the auditing methodology. Our experiments also reveal that these one-shot audit findings often hold only in the short term, implying that the reproducibility and generalizability of the audits heavily depend on the methodological choices and the state of algorithms and content on the platform. This highlights the importance of reproducible audits that allow us to determine how the situation changes in time.
- Abstract（参考訳）: ソーシャルメディアプラットフォームは、暗黙的あるいは明示的なユーザーフィードバックに基づいてアルゴリズムでキュレーションされたコンテンツへと常にシフトしている。
規制当局も研究者も、ソーシャルメディアのアルゴリズムによる監査を体系化するよう求めている。
このような監査の重要な側面は、その発見の再現性と一般化性であり、検証された結論を導き、時間とともにアルゴリズムの潜在的な変化を監査することができる。
本研究では,TikTokレコメンデータシステムの既存のソックパペット監査の再現性と,それらの発見の一般化性について検討する。
これまでの研究成果を再現するために,ソーシャルメディアプラットフォームの変化とコンテンツ進化に起因した課題がいくつかあるが,研究自体もうまくいく。
これらの欠点は監査の再現性を制限し、監査手法に必然的な調整を加えることなく、広範囲の努力を必要とする。
また,これらの単発監査は短期的にのみ実施されることが多く,監査の再現性や一般化性は,プラットフォーム上でのアルゴリズムや内容の方法論的選択や状況に大きく依存していることが示唆された。
これは再現可能な監査の重要性を強調します。
関連論文リスト
- Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからきめ細かいアスペクトを抽出するデータ駆動型スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Variations in Relevance Judgments and the Shelf Life of Test Collections [50.060833338921945]
ニューラル検索モデルへのパラダイムシフトは、現代のテストコレクションの特徴に影響した。
ニューラル検索設定における先行研究を再現し、評価者の不一致がシステムランキングに影響を及ぼさないことを示す。
我々は、新しい関係判断によって、いくつかのモデルが著しく劣化し、既にランク付け者としての人間の有効性に到達していることを観察した。
論文 参考訳（メタデータ） (2025-02-28T10:46:56Z) - Auditing for Bias in Ad Delivery Using Inferred Demographic Attributes [50.37313459134418]
広告配信のブラックボックス監査において,予測誤差が偏見の監査に与える影響について検討した。
本稿では,広告配信アルゴリズムのスキュー評価において,推測誤差を軽減する手法を提案する。
論文 参考訳（メタデータ） (2024-10-30T18:57:03Z) - A Game-Theoretic Analysis of Auditing Differentially Private Algorithms with Epistemically Disparate Herd [16.10098472773814]
本研究は,Stackelbergゲームアプローチを用いたアルゴリズム開発者に対する群集監査の効果について検討する。
透明性と説明責任を高めることで、Hed auditはプライバシ保護アルゴリズムの責任ある開発に寄与する。
論文 参考訳（メタデータ） (2024-04-24T20:34:27Z) - Under manipulations, are some AI models harder to audit? [2.699900017799093]
本研究では,モデルが大きな能力を示す現実的な環境でのロバスト監査の実現可能性について検討する。
ウェブプラットフォームが任意のデータに適合するモデルを使用している場合、監査戦略がランダムサンプリングを上回ります。
次に、Rademacher複雑性を用いて、監査の操作可能性と対象モデルのキャパシティを関連付ける。
論文 参考訳（メタデータ） (2024-02-14T09:38:09Z) - The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。
我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。
新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
論文 参考訳（メタデータ） (2024-02-09T16:23:54Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳（メタデータ） (2023-10-22T16:07:06Z) - Who Audits the Auditors? Recommendations from a field scan of the
algorithmic auditing ecosystem [0.971392598996499]
AI監査エコシステムの最初の包括的なフィールドスキャンを提供する。
私たちは、新たなベストプラクティスと、一般的になりつつある方法やツールを特定します。
これらの監査の質と影響を改善するための政策勧告を概説する。
論文 参考訳（メタデータ） (2023-10-04T01:40:03Z) - Having your Privacy Cake and Eating it Too: Platform-supported Auditing
of Social Media Algorithms for Public Interest [70.02478301291264]
ソーシャルメディアプラットフォームは、情報や機会へのアクセスをキュレートするので、公衆の言論を形成する上で重要な役割を果たす。
これまでの研究では、これらのアルゴリズムが偏見や差別的な結果をもたらすことを示すためにブラックボックス法が用いられてきた。
本稿では,提案法の目標を満たすプラットフォーム支援型監査手法を提案する。
論文 参考訳（メタデータ） (2022-07-18T17:32:35Z) - Continual Learning for Unsupervised Anomaly Detection in Continuous
Auditing of Financial Accounting Data [1.9659095632676094]
国際監査基準では、財務諸表の根底にある会計ジャーナルの項目を直接評価する必要がある。
大量のジャーナルエントリデータを調べるために、ディープラーニングにインスパイアされた監査技術が出現した。
本研究は、両課題を克服し、ジャーナルエントリデータエクスペリエンスのストリームから学ぶように設計された連続的異常検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-25T09:21:14Z) - Everyday algorithm auditing: Understanding the power of everyday users
in surfacing harmful algorithmic behaviors [8.360589318502816]
本稿では,日常的なアルゴリズム監査の概念について検討し,問題のあるマシンの動作を検出し,理解し,疑問を呈するプロセスを提案する。
日常のユーザは、より集中的に組織された監査形態による検知を不要にする問題のあるマシン行動に直面するのに強力である、と我々は主張する。
論文 参考訳（メタデータ） (2021-05-06T21:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。