論文の概要: When Should Humans Step In? Optimal Human Dispatching in AI-Assisted Decisions
- arxiv url: http://arxiv.org/abs/2603.13688v1
- Date: Sat, 14 Mar 2026 01:47:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.342154
- Title: When Should Humans Step In? Optimal Human Dispatching in AI-Assisted Decisions
- Title(参考訳): 人間はいつ足を踏み入れるべきか?AIによる意思決定における最適な人間の分散
- Authors: Lezhi Tan, Naomi Sagan, Lihua Lei, Jose Blanchet,
- Abstract要約: 我々は,人間-AI協調のための一般的な意思決定理論の枠組みを提案する。
我々は、AIアセスメントを要因レベルの信号として扱い、人間の判断を、選択的に取得できるコストの高い情報として扱う。
当社のフレームワークをAI支援ピアレビューに適用する。
- 参考スコア(独自算出の注目度): 2.7755032786791003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems increasingly assist human decision making by producing preliminary assessments of complex inputs. However, such AI-generated assessments can often be noisy or systematically biased, raising a central question: how should costly human effort be allocated to correct AI outputs where it matters the most for the final decision? We propose a general decision-theoretic framework for human-AI collaboration in which AI assessments are treated as factor-level signals and human judgments as costly information that can be selectively acquired. We consider cases where the optimal selection problem reduces to maximizing a reward associated with each candidate subset of factors, and turn policy design into reward estimation. We develop estimation procedures under both nonparametric and linear models, covering contextual and non-contextual selection rules. In the linear setting, the optimal rule admits a closed-form expression with a clear interpretation in terms of factor importance and residual variance. We apply our framework to AI-assisted peer review. Our approach substantially outperforms LLM-only predictions and achieves performance comparable to full human review while using only 20-30% of the human information. Across different selection rules, we find that simpler rules derived under linear models can significantly reduce computational cost without harming final prediction performance. Our results highlight both the value of human intervention and the efficiency of principled dispatching.
- Abstract(参考訳): AIシステムは、複雑な入力の事前評価を作成することによって、人間の意思決定を支援する。
しかし、このようなAIによって生成された評価は、しばしば騒々しい、あるいは体系的な偏見を伴い、中心的な疑問を提起する。
本稿では,AIアセスメントを因子レベルの信号として扱い,人的判断を選択的に取得可能なコストの高い情報として扱う,人間とAIのコラボレーションのための一般的な意思決定理論フレームワークを提案する。
最適選択問題が減少すると、各要因の候補サブセットに関連付けられた報酬を最大化し、政策設計を報酬推定に転換する。
非パラメトリックモデルと線形モデルの両方を用いて、文脈的および非文脈的選択規則を包含する推定手順を開発する。
線形設定では、最適規則は因子の重要性と残差の点で明確な解釈を持つ閉形式表現を許容する。
当社のフレームワークをAI支援ピアレビューに適用する。
提案手法はLLMのみの予測よりも優れており,20~30%の人的情報しか利用せず,完全な人的レビューに匹敵する性能を実現している。
選択規則の相違により,線形モデルに基づく単純な規則は,最終的な予測性能を損なうことなく,計算コストを大幅に削減できることがわかった。
本結果は,人間の介入の価値と原則的派遣の効率を両立させるものである。
関連論文リスト
- Cascaded Language Models for Cost-effective Human-AI Decision-Making [52.81324217423194]
複数の専門分野にまたがってタスクを適応的に委譲するLLM決定フレームワークを提案する。
まず、deferral Policyは、ベースモデルの回答を受け入れるか、あるいは大きなモデルでそれを再生するかを決定する。
第2に、禁忌ポリシーは、カスケードモデル応答が十分に確実であるか、または人間の介入を必要とするかを判定する。
論文 参考訳(メタデータ) (2025-06-13T15:36:22Z) - Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。
AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
論文 参考訳(メタデータ) (2025-03-31T02:05:27Z) - Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。
具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。
最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
論文 参考訳(メタデータ) (2024-06-17T03:51:46Z) - Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。
リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
論文 参考訳(メタデータ) (2024-03-18T01:04:52Z) - Reinforcement Learning with Human Feedback: Learning Dynamic Choices via
Pessimism [91.52263068880484]
人間のフィードバックを用いたオフライン強化学習(RLHF)について検討する。
我々は、人間の選択によって引き起こされる一連の軌道から、人間の根底にある報酬とMDPの最適政策を学習することを目指している。
RLHFは、大きな状態空間だが人間のフィードバックが限られていること、人間の決定の有界な合理性、政治外の分散シフトなど、さまざまな理由から挑戦されている。
論文 参考訳(メタデータ) (2023-05-29T01:18:39Z) - Learning Complementary Policies for Human-AI Teams [13.371050441794651]
本稿では,意思決定における人間とAIの相補性の課題に取り組む。
我々は、割り当てられた行動の下でのみ結果が観察される場合に、人間とAIのコラボレーションのための堅牢なソリューションを開発する。
少数のインスタンスを人間の意思決定者にルーティングすることで,大幅なパフォーマンス向上が達成可能であることを示す。
論文 参考訳(メタデータ) (2023-02-06T17:22:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。