論文の概要: Trust Hinders Bidirectional Human-AI Alignment

• arxiv url: http://arxiv.org/abs/2610.15136v1
• Date: Sat, 10 Oct 2026 19:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.167721
• Title: Trust Hinders Bidirectional Human-AI Alignment
• Title（参考訳）: 信頼は双方向のAIアライメントを妨げる
• Abstract要約: 信頼のキャリブレーションは、AIによる意思決定の主流となっている。 このアプローチは、AIサポートによる意思決定の意味を過度に制限する、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 3.686886131767452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trust calibration remains the dominant framing of AI-assisted decision making: the goal is to close the gap between perceived and actual trustworthiness of AI systems so that users exhibit appropriate reliance on them. We argue that this approach, while useful for decision problems that are well-defined and clearly scoped, overly restricts what it means to make a decision with AI support. To overcome this limitation, we develop three dimensions of AI-assisted decision making. First, trusting AI is only one of several possible strategies for managing uncertainty. Second, trust calibration is often misapplied when AI models "large-world" decision problems, i.e., ill-defined situations where goals and states are only partially known or unknowable. Third, in such settings human-AI alignment requires addressing higher-order decision processes. We conclude by reflecting on the implications of our observations on the design of process-oriented human-AI coupled systems that jointly identify and negotiate uncertainty throughout the decision-making task.
• Abstract（参考訳）: 目標は、AIシステムの認識と実際の信頼性のギャップを埋めて、ユーザが適切な信頼性を示すことです。 このアプローチは、適切に定義され、明確にスコープ化されている決定問題に有用であるが、AIサポートで意思決定を行うことの意味を過度に制限している、と私たちは主張する。 この制限を克服するために、AIによる意思決定の3つの次元を開発する。 まず、AIを信頼することは不確実性を管理するためのいくつかの戦略の1つに過ぎない。 第二に、AIモデルが「大規模な世界」決定問題、すなわち、目標と国家が部分的にのみ知られているか、不明であるような不明確な状況に、信頼のキャリブレーションが悪用されることがしばしばある。 第3に、このような設定では、人間-AIアライメントは高次決定プロセスに対処する必要がある。 我々は,意思決定作業を通じて不確実性を共同で識別し,検証するプロセス指向の人間-AI結合システムの設計について,我々の観察の意義を反映して結論付けた。

関連論文リスト

• Position: We Need Practical AI Alignment Methods to Mirror Human Reasoning [30.54091040502091]
  このポジションペーパーでは、多くの設定、特に高い意思決定において、正確な認知に整合したAIシステムが必要であると論じている。 私たちは、認知的ミスアライメントは、多くの想定されたアプリケーションにおいて、AI採用の障害となる可能性があると論じます。
  論文  参考訳（メタデータ） (2026-07-20T10:15:50Z)
• Trustworthy AI Suffers from Invariance Conflicts and Causality is The Solution [80.98492754957466]
  公正性、堅牢性、プライバシ、説明可能性といった、信頼性の高いAI目標を同時に達成することは難しい。 本稿では、パフォーマンスにおけるトレードオフを理解しバランスをとるためには因果性が必要であると論じ、信頼できるAIの複数の目的について論じる。
  論文  参考訳（メタデータ） (2026-05-04T14:26:28Z)
• Human-Alignment Influences the Utility of AI-assisted Decision Making [16.732483972136418]
  我々は,アライメントの程度が,AIによる意思決定の有用性に与える影響について検討する。 以上の結果から,AIによる意思決定におけるアライメントの程度と有効性との関連が示唆された。
  論文  参考訳（メタデータ） (2025-01-23T19:01:47Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
  我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。 このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• A Decision Theoretic Framework for Measuring AI Reliance [20.669176502049066]
  人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
  論文  参考訳（メタデータ） (2024-01-27T09:13:09Z)
• AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions [6.356355538824237]
  私たちは、AIによる意思決定に関する現在の文献で、信頼と意思決定品質が不適切に混ざり合っていると論じています。 我々の研究は、AIによる意思決定における信頼行動と意思決定品質の区別の重要性を強調している。
  論文  参考訳（メタデータ） (2023-04-18T08:08:05Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。