論文の概要: Towards Human-AI Complementarity for AI Safety
- arxiv url: http://arxiv.org/abs/2610.24969v1
- Date: Sun, 18 Oct 2026 02:49:28 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:45:20.561458
- Title: Towards Human-AI Complementarity for AI Safety
- Title(参考訳): AI安全のための人間とAIの相補性を目指して
- Abstract要約: 相補性:人間とモデルが異なる誤りを犯す場合 判断を組み合わせれば どちらよりも強い信号が得られる
416名のレイパーから35,613名の判定を収集し,相補的効果のかなりの機会を見出した。
また、私たちがテストした補助方法によって、人間のレーナーは、全体の精度が上がった場合でも、AIのエラーを少なく修正したこともわかりました。
- 参考スコア(独自算出の注目度): 4.314802659113602
- License:
- Abstract: Safely overseeing AI is increasingly challenging for the humans doing it, as they must evaluate longer and more complex outputs with every new model generation. To mitigate this challenge, we could leverage complementarity: where humans and models make different mistakes, combining their judgements could yield an oversight signal stronger than either produces alone. We study this opportunity in realistic, safety-relevant settings, contributing the largest known suite of such tasks (3,957 instances across 8 datasets and 6 domains) as well as a platform and data pipeline for measuring human, AI, and human-AI performance on matched items. We collected 35,613 judgements from 416 human raters, finding a considerable opportunity for a complementarity effect. We also found that with the assistance methods we tested, human raters corrected the AI's errors less often, even when overall human accuracy rose, and the hybridisation methods we tested added little over the better single source on average. While complementarity is an important and feasible engineering target for safe oversight, achieving it remains an open challenge for future work.
- Abstract(参考訳): 新しいモデル生成毎に、より長く複雑なアウトプットを評価する必要があるため、AIを安全に監視することは、人間にとってますます難しい。
この課題を緩和するためには、人間とモデルが異なる誤りを犯すような相補性を活用することができる。
この機会を現実的な安全関連環境で研究し、8つのデータセットと6つのドメインにまたがる3,957インスタンスのタスクと、マッチしたアイテム上での人間、AI、人間-AIパフォーマンスを測定するためのプラットフォームとデータパイプラインに寄与した。
416名のレイパーから35,613名の判定を収集し,相補的効果のかなりの機会を見出した。
また、私たちがテストしたアシストメソッドでは、全体の精度が上がったとしても、AIのエラーの修正頻度が低くなり、テストしたハイブリダイゼーションメソッドは平均して、より優れた単一ソースをほとんど加えなかったこともわかりました。
相補性は、安全な監視のために重要かつ実現可能なエンジニアリングターゲットであるが、それを達成することは、将来の作業にとってオープンな課題である。
関連論文リスト
- Careful Judge: Safe and Efficient Human-AI Collaborative Decision Making [30.161334601782187]
CAREは原則で、汎用的で、モジュール化されており、あらゆるブラックボックスAIモデルで動作する。
我々は、AIモデルが十分に訓練され、人間とAIのミスアライメントが明確な構造を持つ場合、CAREがクエリ効率をどのように改善するかを示す。
運転、言語、ロボティクスにまたがる4つの安全クリティカルな現実世界データセットの実験では、CAREが人間のクエリをベースラインに対して25~81%削減しながら、人間に沿った決定を達成していることが示された。
論文 参考訳(メタデータ) (2026-10-06T19:44:15Z) - Toward Human-AI Complementarity Across Diverse Tasks [3.6671496239276475]
人間とAIの相補性は、人間とAIの判断を組み合わせることが、単独でより優れているという考え方である。
本研究では,現実的なタスクにおいて人間とAIの相補性が達成できるかどうかを考察する。
微妙な相補性の増加しか見つからない。
論文 参考訳(メタデータ) (2026-04-13T07:24:18Z) - Align When They Want, Complement When They Need! Human-Centered Ensembles for Adaptive Human-AI Collaboration [13.041288521972563]
人間とAIの意思決定において、人間の専門知識を補完するAIを設計することは、人間とAIのコラボレーションを強化する自然な戦略である。
一致したAIは、信頼を育みながら、最適な人間の行動を補強し、人間とAIチームのパフォーマンスを低下させるリスクを負う。
我々は、2つの専門的AIモデルの間で戦略的に切り替える、人間中心の適応型AIアンサンブルを新たに導入する。
論文 参考訳(メタデータ) (2026-02-23T18:22:58Z) - Human-AI Complementarity: A Goal for Amplified Oversight [2.7005766101211663]
本稿では,人間の監視の質を向上させるためにAIを活用する方法について検討する。
AIレーティングと人間のレーティングをAIレーダの信頼性に基づいて組み合わせた方が、どちらも頼りにしているよりも優れていることが分かりました。
論文 参考訳(メタデータ) (2025-10-30T14:11:52Z) - A roadmap for AI in robotics [55.87087746398059]
AIの可能性を生かして、私たちの日常生活にロボットを配備する上での、際立った障壁に取り組みたいと考えています。
この記事では、1990年代からロボット工学におけるAIが達成したことを評価し、課題と約束を列挙した短期的・中期的な研究ロードマップを提案する。
論文 参考訳(メタデータ) (2025-07-26T15:18:28Z) - Human-AI Safety: A Descendant of Generative AI and Control Systems Safety [6.100304850888953]
先進的なAI技術に対する有意義な安全性保証には、AI出力と人間の振る舞いによって形成されるフィードバックループが、どのようにして異なる結果に向かって相互作用を駆動するかについての推論が必要である、と我々は主張する。
我々は、次世代の人間中心AI安全性に向けた具体的な技術ロードマップを提案する。
論文 参考訳(メタデータ) (2024-05-16T03:52:00Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z) - Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。
次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。
模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
論文 参考訳(メタデータ) (2022-11-23T16:16:52Z) - Human Decision Makings on Curriculum Reinforcement Learning with
Difficulty Adjustment [52.07473934146584]
我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。
本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。
強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
論文 参考訳(メタデータ) (2022-08-04T23:53:51Z) - Trustworthy AI: A Computational Perspective [54.80482955088197]
我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。
各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
論文 参考訳(メタデータ) (2021-07-12T14:21:46Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。