論文の概要: Toward Human-AI Complementarity Across Diverse Tasks
- arxiv url: http://arxiv.org/abs/2605.04070v1
- Date: Mon, 13 Apr 2026 07:24:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 06:56:26.564135
- Title: Toward Human-AI Complementarity Across Diverse Tasks
- Title(参考訳): 多様なタスクにおけるヒューマンAIの相補性を目指して
- Authors: Yuzheng Xu, Annya Dahmani, Matthew D. Blanchard, Niclas Dern, Edy Nastase, Francesca Bianco, Maja Pavlovic, Sukanya Krishna, Eric Modesitt, Miranda Anna Christ, Arth Singh, Gaia Molinaro, Sikata Bela Sengupta, Jaji Pamarthi, Arjun Menon, Rishub Jain,
- Abstract要約: 人間とAIの相補性は、人間とAIの判断を組み合わせることが、単独でより優れているという考え方である。
本研究では,現実的なタスクにおいて人間とAIの相補性が達成できるかどうかを考察する。
微妙な相補性の増加しか見つからない。
- 参考スコア(独自算出の注目度): 3.6671496239276475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-AI complementarity, the idea that combining human and AI judgments can outperform either alone, offers a promising pathway toward robust oversight of advanced AI systems. However, whether human-AI complementarity can be achieved on realistic tasks remains an open question. We investigate this through two approaches: hybridization and two AI assistance methods (top-2 assistance and subtask delegation), evaluated on a multi-domain dataset of 1,886 samples spanning knowledge, factuality, long-context reasoning, and deception detection. We find only modest complementarity gains. Baseline hybridization yields just +0.4 percentage points (pp) over AI alone (69.3\% vs 68.9\%), limited both by a small complementarity region (only 8.9\% of items where AI errs but humans do not) and the inability of confidence-based routing to identify it, since the model's confidence is similarly distributed across correct and incorrect predictions. Applied when AI has low confidence, top-2 assistance increases human accuracy from 28.4\% to 38.3\%, surpassing AI alone (37.7\%) -- but primarily because humans adopt correct AI suggestions, not because they successfully override AI errors. These findings suggest that the primary bottleneck is not human task accuracy per se, but the ability to route decisions to humans when it matters and to design assistance methods that enable humans to catch AI mistakes. Our quantitative and qualitative analyses pinpoint where and why each method succeeds or fails, offering concrete targets for future work. We will release our dataset and code upon request to support progress toward more effective human-AI collaboration for AI oversight.
- Abstract(参考訳): 人間とAIの判断を組み合わせるというヒューマンAIの相補性は、高度なAIシステムの堅牢な監視に向けた有望な道筋を提供する。
しかし、現実的なタスクで人間とAIの相補性が達成できるかどうかは未解決の問題である。
我々は、知識、事実性、長文推論、偽造検出にまたがる1,886サンプルのマルチドメインデータセットを用いて、ハイブリダイゼーションと2つのAIアシスト手法(トップ2アシストとサブタスクデリゲート)を用いて、これを調査する。
微妙な相補性の増加しか見つからない。
ベースラインのハイブリダイゼーションは、AI単独で(69.3\%対68.9\%)+0.4ポイント(pp)しか得られず、小さな相補性領域(AI errs以外の人間がいない項目の8.9\%)と信頼に基づくルーティングの欠如の両方で制限されている。
AIの信頼性が低い場合、トップ2アシストは人間の精度を28.4\%から38.3\%に引き上げ、AI単独(37.7\%)を超える。
これらの発見は、主なボトルネックは人間のタスクの正確さではなく、重要なときに人間に意思決定をルーティングし、人間がAIのミスをキャッチできるような支援方法を設計できることを示唆している。
我々の量的および質的な分析は、それぞれの方法が成功するか失敗したかを特定し、将来の作業に具体的な目標を提供する。
我々は、AI監視のためのより効果的な人間とAIのコラボレーションに向けた進捗をサポートするために、私たちのデータセットとコードをリリースします。
関連論文リスト
- Align When They Want, Complement When They Need! Human-Centered Ensembles for Adaptive Human-AI Collaboration [13.041288521972563]
人間とAIの意思決定において、人間の専門知識を補完するAIを設計することは、人間とAIのコラボレーションを強化する自然な戦略である。
一致したAIは、信頼を育みながら、最適な人間の行動を補強し、人間とAIチームのパフォーマンスを低下させるリスクを負う。
我々は、2つの専門的AIモデルの間で戦略的に切り替える、人間中心の適応型AIアンサンブルを新たに導入する。
論文 参考訳(メタデータ) (2026-02-23T18:22:58Z) - Human-AI Collaborative Uncertainty Quantification [26.38833436936642]
我々は、AIモデルが人間の専門家の提案する予測セットをいかに洗練するかを形式化するフレームワークであるHuman AI Collaborative Uncertainty Quantificationを紹介する。
最適協調予測セットは1つのスコア関数上の直感的な2つのしきい値構造に従っており、古典的な結果を共形予測で拡張することを示す。
画像分類、回帰、テキストベースの医学的意思決定に関する実験は、協調予測セットがエージェント単独よりも一貫して優れていることを示している。
論文 参考訳(メタデータ) (2025-10-27T16:11:23Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳(メタデータ) (2023-01-06T00:33:08Z) - Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。
次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。
模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
論文 参考訳(メタデータ) (2022-11-23T16:16:52Z) - Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs
for Centaurs [22.52332536886295]
本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。
このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。
我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
論文 参考訳(メタデータ) (2022-04-03T21:00:51Z) - Uncalibrated Models Can Improve Human-AI Collaboration [10.106324182884068]
私たちは、AIモデルを実際によりも自信を持って提示することで、人間-AIのパフォーマンスが向上することを示した。
私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。
論文 参考訳(メタデータ) (2022-02-12T04:51:00Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳(メタデータ) (2021-07-12T14:21:46Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。