論文の概要: Beyond "AI Helps Humans": Decision-Targeted Evaluation Design for Human-Agent Teams in the Agentic Era

• arxiv url: http://arxiv.org/abs/2609.05527v1
• Date: Tue, 01 Sep 2026 19:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.086168
• Title: Beyond "AI Helps Humans": Decision-Targeted Evaluation Design for Human-Agent Teams in the Agentic Era
• Title（参考訳）: AIが人間を助ける」を超えて--エージェント時代の人間-エージェントチームのための意思決定型評価設計
• Abstract要約: TEAM-Designは,各タスクに対して,ベースライン毎に2つのリプレイ確率を与えるルールである。 2つの比較のうちの1つが他方よりも明らかに解決が難しく、分散ベースのアロケーションよりも悪い場合、最もうまく機能する。
• 参考スコア（独自算出の注目度）: 13.385373310554327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wherever a coding agent works under engineer supervision, or a clinical model assists a radiologist, the deployment question is whether to keep the human-AI workflow or replace it with the human alone or the agent alone. The human-AI workflow is worth keeping only if it beats both of those alternatives. Yet once it is deployed, neither alternative outcome is observed: recovering one means replaying the task under that alternative, and every replay costs expert time or compute. Under a fixed replay budget, the design question is therefore which tasks should be more likely to receive a human-only replay, and which an agent-only replay. Existing methods do not directly target this decision. Agent benchmarks do not choose which missing baseline to measure, variance-based sampling ignores which of the two comparisons is closer to failing, and Bayesian information methods focus on learning model parameters instead of making the deployment decision. We propose TEAM-Design, a rule that gives every task two replay probabilities, one per baseline. It raises a probability where the missing baseline outcome is hard to predict from what is already known about the task and where that comparison is harder to establish, and lowers it where replay is expensive. We prove that the rule solves this budgeted design problem, and that drawing the replays at random from recorded probabilities still controls the chance of wrongly declaring that the workflow beats both. We reanalyze 6 clinical settings, where no human-AI workflow beats both alternatives, and a coding benchmark, where one does, then evaluate TEAM-Design on synthetic designs and on a semi-synthetic design built from a real chest X-ray reader study. TEAM-Design works best when one of the two comparisons is clearly harder to settle than the other, and can do worse than variance-based allocation when the two are similarly difficult.
• Abstract（参考訳）: コーディングエージェントがエンジニアの監督の下で働く場合、あるいは臨床モデルが放射線技師を支援する場合、デプロイの問題は、人間とAIのワークフローを維持するか、あるいは人間だけに置き換えるかである。 人間とAIのワークフローは、両方の選択肢に勝てば、維持する価値がある。 ひとつのタスクをリプレイすることは、その代替手段の下でタスクをリプレイすることであり、すべてのリプレイは専門家の時間や計算に費やされます。 固定されたリプレイ予算の下では、設計上の問題は、どのタスクが人間のみのリプレイを受けるか、どのエージェントのみのリプレイを受けるかである。 既存の方法は、この決定を直接的にターゲットするものではない。 エージェントベンチマークは、どの基準線を計測するかを選択せず、分散ベースのサンプリングは、2つの比較のうちどれが失敗に近いかを無視する。 TEAM-Designは,各タスクに対して,ベースライン毎に2つのリプレイ確率を与えるルールである。 これは、タスクについてすでに知っていることや、その比較が確立しにくいことから、欠落したベースライン結果の予測が困難である可能性を高め、リプレイが高価である場合にそれを低下させる。 このルールが,この予算化された設計問題を解決することを証明し,記録された確率からランダムにリプレイを描画することは,ワークフローが両方に勝つことを誤って宣言する確率を制御していることを証明した。 我々は、人間のAIワークフローが両方の選択肢に勝ることのない6つの臨床設定と、TEAM-Designを合成設計と、実際の胸部X線リーダー研究から構築した半合成設計で評価するコーディングベンチマークを再分析する。 TEAM-Designは、2つの比較のうちの1つが他方よりも明らかに解決が困難であり、2つの比較が同様に困難である場合には、分散ベースのアロケーションよりも悪くなる場合に最も機能する。

関連論文リスト

• Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation [13.385373310554327]
  証拠と整合したすべての品質表で、1つの代入が最適かどうかを問う。 固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
  論文  参考訳（メタデータ） (2026-08-30T05:00:43Z)
• AI Research Preference Models [87.14303218008381]
  研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。 フロンティア作業の進行は コストで妨げられています 我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
  論文  参考訳（メタデータ） (2026-08-14T04:20:37Z)
• Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation [1.4180331276028662]
  A/Bテストは、テクノロジ業界における新機能の標準であり続けている。 AIエージェントは、行動プロファイルと介入のコンテキスト記述に基づいて、--- 実際のトラフィックをコミットする前に、候補者の処置を精査するのに十分な結果をシミュレートできますか? 我々は,この問題をEmphSimulated Randomized Controlled Trial (S-RCT) として定式化し,エージェント近似誤差をサブサンプリング誤差から分離する2層誤差分解を導出する。
  論文  参考訳（メタデータ） (2026-08-03T14:58:06Z)
• The Novelty Bottleneck: A Framework for Understanding Human Effort Scaling in AI-Assisted Work [4.726153739634646]
  新規性ボトルネックと呼ばれるメカニズムを分離した人間とAIのコラボレーションモデルを提案する。 モデルはタスクが原子的な決定に分解されると仮定する。 私たちの貢献は、人間の努力が線形にスケールしなければならないという証拠ではありません。
  論文  参考訳（メタデータ） (2026-03-28T22:50:13Z)
• Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections [37.38277822936901]
  我々は,800の異種PDF文書に基づいた2,250人の人間による質問のベンチマークであるMADQAを紹介する。 最適なエージェントは、人間の検索者を生の正確さで一致させることができるが、それらはほとんど異なる質問に成功し、弱い戦略計画の補足のためにブルートフォースサーチに依存している。 我々は、ブルートフォース検索からキャリブレーションされた効率的な推論への移行を支援するために、データセットと評価ハーネスをリリースする。
  論文  参考訳（メタデータ） (2026-03-12T17:11:22Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)
• PSDiff: Diffusion Model for Person Search with Iterative and Collaborative Refinement [59.6260680005195]
  本稿では,拡散モデルであるPSDiffに基づく新しいPerson Searchフレームワークを提案する。 PSDiffは、ノイズの多いボックスとReID埋め込みから地上の真実へのデュアルデノケーションプロセスとして検索する人を定式化する。 新しいパラダイムに従って、我々は、反復的かつ協調的な方法で検出とReIDサブタスクを最適化する新しいコラボレーティブ・デノナイジング・レイヤ(CDL)を設計する。
  論文  参考訳（メタデータ） (2023-09-20T08:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。