論文の概要: SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints
- arxiv url: http://arxiv.org/abs/2607.05363v1
- Date: Mon, 06 Jul 2026 17:39:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.268488
- Title: SovereignPA-Bench: Evaluating User-Owned Personal Agents under Evolving Intent, Platform Mediation, and Consent Constraints
- Title（参考訳）: SovereignPA-Bench:Intent、Platform Mediation、Content Constraintsを応用した個人エージェントの評価
- Abstract要約: SovereignPA-Benchは、ユーザ所有の個人エージェントを評価するための実行可能なベンチマークである。
4つのモデルファミリーと8つのポリシーベースラインにまたがる120の主権ストレスシナリオを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personal agents are becoming persistent user-owned intermediaries: they remember preferences, filter platform-mediated information, use tools, and negotiate with services. Existing benchmarks evaluate tool use, web navigation, desktop control, personalization, recommendation, and evolving context, but rarely ask whether an agent preserves user sovereignty: advancing the user's current interests while respecting privacy, consent, evidence, user burden, and resistance to manipulative incentives. We introduce SovereignPA-Bench, an executable benchmark for evaluating user-owned personal agents under evolving intent, platform mediation, privacy boundaries, consent constraints, evidence requirements, and burden tradeoffs. The benchmark separates agent-visible ObservableState from evaluator-only HiddenLabels, reports component metrics for task success, alignment, privacy, consent, evidence, manipulation, burden, and auditability, and preserves paired scenario ordering for model and policy comparisons. We evaluate 120 sovereignty stress scenarios across 4 model families and 8 policy baselines, yielding 3,840 frozen-prompt trajectories with raw prompts, outputs, provider-form responses, parsed actions, recomputable metrics, hard-set analyses, qualitative cases, and a blinded 3-annotator audit over 240 items. Full-sovereign scaffolding improves sovereignty score over direct, memory-only, consent-only, evidence-only, ReAct/tool-use, safety-prompt, and judge-guard baselines while reducing privacy leakage, consent violation, over-concession, and manipulation capture. Human audit shows high agreement on privacy and consent and lower agreement on manipulation, identifying the subjective frontier of platform-persuasion judgments. These results show that personal-agent evaluation must move beyond task completion toward representative, consent-aware, evidence-grounded action.
- Abstract（参考訳）: パーソナライズされたエージェントは、好みの記憶、プラットフォーム経由の情報のフィルタリング、ツールの使用、サービスとの交渉など、永続的なユーザ所有の仲介者になりつつある。
既存のベンチマークでは、ツールの使用、Webナビゲーション、デスクトップコントロール、パーソナライゼーション、レコメンデーション、進化するコンテキストを評価しているが、エージェントがユーザの主権を維持するかどうかを問うことは稀である。
SovereignPA-Benchは、進化する意図、プラットフォーム仲介、プライバシー境界、同意制約、証拠要件、負担トレードオフの下で、ユーザ所有の個人エージェントを評価するための実行可能なベンチマークである。
このベンチマークは、エージェント可視のObservableStateを評価対象のみのHiddenLabelsから分離し、タスクの成功、アライメント、プライバシ、同意、エビデンス、操作、負担、監査可能性のコンポーネントメトリクスを報告し、モデルとポリシーの比較のためのペアシナリオの順序を保存する。
我々は4つのモデルファミリーと8つのポリシーベースラインにわたる120の主権ストレスシナリオを評価し、生のプロンプト、アウトプット、プロバイダフォーム応答、パースされたアクション、再計算可能なメトリクス、ハードセット分析、質的ケース、および240項目以上の盲目な3つのアノテーション監査を伴う3,840個の凍結プロンプトトラジェクトリを出力する。
フルソブリンの足場は、直接、メモリオンリー、同意オンリー、エビデンスオンリー、ReAct/tool-use、セーフティプロンプト、およびジャッジガードベースラインに対する主権スコアを改善し、プライバシリーク、同意違反、過剰譲歩、操作キャプチャを低減する。
人間の監査は、プライバシーと同意に関する高い合意と操作に関する低い合意を示し、プラットフォームパーポーション判断の主観的フロンティアを特定します。
これらの結果は、個人エージェントの評価がタスク完了を超えて、代表的、同意的、エビデンス的行動に向かわなければならないことを示している。
関連論文リスト
- Proactive Service Agents: A Unified Decision Framework, Methods, and Evaluation [6.657978673347863]
大規模な言語モデルエージェントは、外部状態の計画、実行、修正を行うことができるが、ほとんどのシステムは、まだ固定された開始点として明示的なユーザー命令を取る。
この調査は、イニシアティブを中心とした運用定義を与え、承認とリスクに制約された部分的に観察可能なシーケンシャルな決定プロセスとして問題を定式化します。
論文 参考訳（メタデータ） (2026-09-03T12:00:34Z) - From Matching Models to Recruiting Agents: A Systematized Narrative Review of AI Recruitment Systems, Evaluation, and Governance [1.436449142247059]
このレビューは、ニューラル・パーソナリティ・マッチングによる双方向の検索と行動ランキングから発展を辿る。
類似性から相互適合性、モデルから複合ワークフロー、オフライン予測からエビデンスと生産性に整合した評価という3つの組み合わせの遷移を分析した。
評価証拠から最強の証明可能なクレームへのステージマッピングと,相互性,エビデンス,時間的制御,選択的,監査可能なシステムに関するアジェンダを導入する。
論文 参考訳（メタデータ） (2026-09-03T08:46:03Z) - Autonomous Information Seeking: A Roadmap for Agentic Recommender Systems [64.88044474617854]
大規模言語モデルベースのエージェントをリコメンダシステムに迅速に統合することで、静的なランキングベースのパイプラインから、自律的でインタラクティブなシステムへのシフトが加速した。
この調査では、自律性のレベルとエージェントレコメンデータシステムの3つのコアパラダイムを基盤とした統合された分類法を紹介した。
論文 参考訳（メタデータ） (2026-07-05T17:55:05Z) - SovereignNegotiation-Bench: Evaluating User-Owned Personal Agents In Delegated Bargaining Under Privacy, Consent, Evidence, And Institutional Pressure [0.0]
SovereignNegotiation-Benchは民間企業による個人エージェント交渉のためのトレースレベルベンチマークである。
本報告では,240以上のシナリオ,4つのモデルファミリー,13,440個の凍結した生トラック,61,135個の解析されたアクション行,300項目以上の盲目3点検の検証を行った。
最強の合意最大化ベースラインは、合意率が最も高いが、ユーザユーティリティが低く、プライバシ/コンテンツリスクが高い。
論文 参考訳（メタデータ） (2026-07-02T23:03:15Z) - What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents [2.8340200313563773]
自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。
ヒューマンフィードバックの目的の下で訓練されたエージェントは、入力、証拠、あるいは安全に行動する許可がなくても、進行する構造的な傾向を発達させる。
本稿では,要求される情報が欠落している仕様ギャップ,世界国家が確認できない検証ギャップ,明示的な承認が与えられていない権限ギャップについて紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:52:56Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。
静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。
実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
論文 参考訳（メタデータ） (2026-05-29T17:00:55Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Listen to the Voices of Everyday Users: Democratizing Privacy Ratings for Sensitive Data Access in Mobile Apps [8.301057281097679]
モバイルアプリは頻繁に過剰なデータアクセスを要求し、プライバシー上の懸念を生じさせる。
既存の規制メカニズムは、スケーラビリティ、中立性、ユーザの期待と整合性といった課題に直面している専門家主導の監査に依存しています。
本稿では,ユーザ中心のプライバシ知覚に関する先行研究に触発された,プライバシー評価の民主化という新たなパラダイムを提案する。
論文 参考訳（メタデータ） (2026-04-27T05:47:58Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Grant, Verify, Revoke: A User-Centric Pattern for Blockchain Compliance [9.133320151595084]
分散Webアプリケーションは、公共の妥当性と個人のプライバシーの間に固有の対立に直面している。
本稿では,ユーザ主権の回復を目的とした選択的開示フレームワークを提案する。
評価の結果,200ms未満のクライアント側証明生成が可能であり,コモディティハードウェア上でシームレスな対話的体験を実現することができた。
論文 参考訳（メタデータ） (2026-03-16T17:06:44Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。