論文の概要: DelegationBench: Measuring When AI Agents Should Ask Before Acting

• arxiv url: http://arxiv.org/abs/2610.05532v1
• Date: Sun, 04 Oct 2026 20:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:17:56.005004
• Title: DelegationBench: Measuring When AI Agents Should Ask Before Acting
• Title（参考訳）: DelegationBench:AIエージェントが行動する前に質問すべきタイミングを計測する
• Abstract要約: 合意スコアが信頼できるかどうかをテストするために、DelegationBenchを導入します。 4つの可能なレスポンスを持つ156のシナリオがある(実行、許可の要求、行方不明の情報の要求、拒否)。 5家族の10モデルのうち、合意のスコアは3つの点で誤解を招く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents that send emails, edit files, and make purchases must decide when to act on their own and when to check with the user first. This decision is usually evaluated by showing a model a proposed action, asking whether it should proceed, and scoring agreement with human labels. We introduce DelegationBench to test whether such scores can be trusted. It has 156 scenarios with four possible responses (act, ask for permission, ask for missing information, refuse), and most scenarios come in matched pairs that change a single feature: whether the action was requested, what is at stake, whether it can be undone, or who will see it. Across ten models from five families, agreement scores mislead in three ways. A simple keyword rule, which we wrote after seeing the benchmark, agrees with our annotators more often than eight of the models, yet its decision changes in only 9 of 48 matched pairs. Equivalent ways of asking the same question change how often a model acts by up to 52.5 percentage points. And every model stops to ask the user less often when it must carry out the task with tools than when it judges a proposed action. When rules are stated explicitly, the same models follow them almost perfectly, so the gaps are not explained by a general inability to follow rules. We release the benchmark and evaluation tools and recommend reporting these properties separately rather than as one score.
• Abstract（参考訳）: メールを送り、ファイルを編集し、購入するAIエージェントは、最初にユーザーと確認するタイミングと行動のタイミングを決定する必要がある。 この決定は通常、モデルに提案されたアクションを示し、それが進むべきかどうかを尋ね、人間のラベルとの合意を採点することで評価される。 このようなスコアが信頼できるかどうかをテストするために、DelegationBenchを導入します。 156のシナリオと4つの可能なレスポンス(実行、許可の要求、欠落した情報の要求、拒否)があり、ほとんどのシナリオは、ひとつの機能を変更するペアにマッチする。 5家族の10モデルのうち、合意のスコアは3つの点で誤解を招く。 ベンチマークを見た後、私たちが書いた単純なキーワードルールは、8つのモデルのうち8つ以上のアノテータとよく一致しますが、その決定は48のペアのうち9つしか一致していません。 同じ質問をする等価な方法は、モデルが最大52.5ポイントまで機能する頻度を変える。 そして、すべてのモデルは、提案されたアクションを判断する時よりも、いつツールでタスクを実行する必要があるかをユーザに尋ねるのをやめます。 ルールが明示的に記述された場合、同じモデルはほぼ完全に従うので、そのギャップは一般的なルールに従うことができないために説明できない。 ベンチマークと評価ツールをリリースし、これらの特性を1点ではなく別々に報告することを推奨します。

関連論文リスト

• Pinning Decisions Before Failure: Executable Records of Underspecified Choices in AI-Assisted Code Generation [0.0]
  自然言語の要件は質問をオープンにし、それを実装するよう要求されたモデルが静かに解決する。 3つのモデルから600以上のテストスイートが生成され、42.7%は競合するリードを区別するテストを含んでいない。 要件の未特定点を名前で列挙し、それぞれのコンストラクタに対して、そのポイントでのみ異なる2つの捨てられた実装を列挙します。 結果は、名前付きポイント、確認された入力、および2つの結果の中から選択した値の判定ピンとして記録される。
  論文  参考訳（メタデータ） (2026-10-02T12:46:07Z)
• Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
  エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T12:55:07Z)
• Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable [1.0742675209112622]
  言語モデルは、ユーザが主張するものと一致しがちである。 オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。 ソースの推論とユーザ合意はモデル内での振る舞いの交換にはなりません。
  論文  参考訳（メタデータ） (2026-09-29T13:58:04Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
  5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。 単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。 名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
  論文  参考訳（メタデータ） (2026-09-24T16:11:21Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
  Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。 AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
  論文  参考訳（メタデータ） (2026-08-12T07:07:57Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。