論文の概要: Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale

• arxiv url: http://arxiv.org/abs/2606.30801v1
• Date: Mon, 29 Jun 2026 18:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.96751
• Title: Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale
• Title（参考訳）: AIエージェントを使って大規模パーソナライズアルゴリズムのブラックボックス監査を自動化する
• Abstract要約: パーソナライズアルゴリズムは、ユーザーがオンラインプラットフォームで遭遇するコンテンツを決定する。 独立した監査役はアルゴリズムへのブラックボックスアクセスしか持たないため、これらのシステムの監査は難しい。 合成アカウントの動作エンジンとして生成AIエージェントを用いたパーソナライズアルゴリズムのブラックボックス監査のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 76.72846830885882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalization algorithms determine what content users encounter on online platforms. Auditing these systems is difficult because independent auditors have only black-box access to the algorithms, while personalization depends on users' attributes, behavior, and evolving interaction histories. Existing auditing methods face a tradeoff: studies with real users capture realistic behavior but are costly and hard to control, whereas sock-puppet audits scale more easily but often rely on scripted behavior that limits realism. Beyond this, both approaches struggle to decouple user attributes from user behavior, limiting our ability to causally understand personalization. To address this gap, we introduce a framework for black-box audits of personalization algorithms using generative AI agents as behavioral engines for synthetic accounts. Each agent is instantiated with a fixed persona, grounded in demographic and political survey data, and interacts with a platform's content by reasoning about it and choosing actions. Because behavior is fixed within each persona while platform-visible signals such as age, gender, or location can be experimentally perturbed, our design enables counterfactual auditing of how platforms respond to user attributes. As a case study, we deploy 1,120 agents on X shortly after the 2024 U.S. election, spanning 14 personas and three counterfactual conditions, collecting over 200,000 content exposures. We find that X's algorithmic feed amplifies toxic, polarizing, political, and right-leaning content relative to the chronological feed, with amplification varying sharply by user ideology. Counterfactual analyses show that demographic signals affect content delivery in persona-dependent ways: pooled effects are largely null, while subgroup-level effects vary in direction and magnitude. Our work establishes GenAI-based agents as a new tool for algorithmic auditing.
• Abstract（参考訳）: パーソナライズアルゴリズムは、ユーザーがオンラインプラットフォームで遭遇するコンテンツを決定する。 個人化はユーザの属性、行動、進化するインタラクション履歴に依存するが、独立した監査役はアルゴリズムへのブラックボックスアクセスしか持たないため、これらのシステムの監査は困難である。 既存の監査手法では、現実的な振る舞いをキャプチャするが、コストがかかり、制御が困難であるのに対して、ソック・パペット監査はより容易にスケールするが、現実主義を制限するスクリプト化された振る舞いに依存することが多い。 さらに、どちらのアプローチも、ユーザの属性とユーザの振る舞いを分離し、パーソナライゼーションを慎重に理解する能力を制限するのに苦労しています。 このギャップに対処するために、生成AIエージェントを合成アカウントの行動エンジンとして利用するパーソナライズアルゴリズムのブラックボックス監査のためのフレームワークを導入する。 各エージェントは、人口統計および政治調査データに基づく固定されたペルソナでインスタンス化され、プラットフォームの内容と対話し、それを推論し、アクションを選択する。 行動は各ペルソナ内で固定され、年齢、性別、位置などのプラットフォーム可視的な信号は実験的に摂動できるため、我々の設計では、プラットフォームがユーザ属性にどう反応するかの対実的な監査が可能である。 ケーススタディでは、2024年のアメリカ合衆国大統領選挙の直後に1,120人のエージェントをXに配置し、14人のペルソナと3つの偽善条件にまたがって20万件以上のコンテンツの露出を収集した。 Xのアルゴリズムフィードは、時間的フィードに対して有毒、偏光、政治的、右利きのコンテンツを増幅し、ユーザイデオロギーによって増幅が急激に変化する。 人口統計学的信号は個人に依存した方法でコンテンツ配信に影響を与えることが示される: プールされた効果は大部分が無効であり、サブグループレベルの効果は方向や大きさによって異なる。 我々の研究は、アルゴリズム監査のための新しいツールとして、GenAIベースのエージェントを確立する。

関連論文リスト

• How to Interpret Agent Behavior [56.59836196946289]
  本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。 共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
  論文  参考訳（メタデータ） (2026-05-13T14:52:40Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• Beyond Content: Behavioral Policies Reveal Actors in Information Operations [1.1693100084511296]
  本稿では、ユーザアクティビティをシーケンシャルな意思決定プロセスとしてモデル化することで、悪意あるアクターを行動ポリシーから識別するプラットフォームに依存しないフレームワークを提案する。 Redditの2017年の透明性レポートでは、ロシアインターネットリサーチエージェンシーにリンクされた99アカウントを含む12,064のRedditユーザに対してこのアプローチを適用しています。 アクティビティベースの表現は、投稿するよりもユーザーの行動をモデル化し、悪意のあるアカウントを検知するコンテンツモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-02T21:39:21Z)
• Measuring Strategization in Recommendation: Users Adapt Their Behavior to Shape Future Content [66.71102704873185]
  実験と調査を行うことで,ユーザストラテジゼーションの試行を行う。 参加者の居住時間や「いいね!」の使用など,結果指標間での戦略化の強い証拠を見出す。 この結果から,プラットフォームはアルゴリズムがユーザの行動に与える影響を無視できないことが示唆された。
  論文  参考訳（メタデータ） (2024-05-09T07:36:08Z)
• User Strategization and Trustworthy Algorithms [81.82279667028423]
  ユーザストラテジゼーションがプラットフォームを短期間で支援できることが示されています。 そして、それがプラットフォームのデータを破壊し、最終的に反実的な決定を下す能力を損なうことを示します。
  論文  参考訳（メタデータ） (2023-12-29T16:09:42Z)
• Sociotechnical Audits: Broadening the Algorithm Auditing Lens to Investigate Targeted Advertising [1.6422305456306596]
  本稿では,アルゴリズムとユーザ間の相互作用に着目した社会工学的監査の概念を提案する。 我々は,同意・補償された参加者による縦断的社会技術監査を行うためのプラットフォームであるIntervenrを開発した。 われわれはIntervenrを2週間にわたるオンライン広告の社会技術監査で展開し、パーソナライズされた広告ターゲティングがユーザーにとってより効果的であるという中心的な前提を調査した。
  論文  参考訳（メタデータ） (2023-08-30T05:26:47Z)
• Mathematical Framework for Online Social Media Auditing [5.384630221560811]
  ソーシャルメディアプラットフォーム(SMP)は、報酬の最大化を目的として、ユーザのフィードを構成するコンテンツを選択する手段として、アルゴリズムフィルタリング(AF)を利用する。 ユーザのフィードに表示されるコンテンツを選択的に選択することは、ユーザの意思決定にある程度、マイナーまたはメジャーの影響を与える可能性がある。 我々は,この枠組みを数学的に定式化し,データ駆動型統計監査手法の構築に利用した。
  論文  参考訳（メタデータ） (2022-09-12T19:04:14Z)
• Modeling Content Creator Incentives on Algorithm-Curated Platforms [76.53541575455978]
  本研究では,アルゴリズムの選択が露出ゲームにおける(ナッシュ)平衡の存在と性格にどのように影響するかを検討する。 本研究では、露出ゲームにおける平衡を数値的に見つけるためのツールを提案し、MovieLensとLastFMデータセットの監査結果を示す。
  論文  参考訳（メタデータ） (2022-06-27T08:16:59Z)
• Not all users are the same: Providing personalized explanations for sequential decision making problems [25.24098967133101]
  本研究では,エンドツーエンドの適応的説明生成システムを提案する。 最初は、エージェントが対話できるさまざまなタイプのユーザを学習することから始まる。 その後、ハエの型を特定し、それに応じて説明を調整する。
  論文  参考訳（メタデータ） (2021-06-23T07:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。