論文の概要: Alignment has a Fantasia Problem

• arxiv url: http://arxiv.org/abs/2604.21827v1
• Date: Thu, 23 Apr 2026 16:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.718192
• Title: Alignment has a Fantasia Problem
• Title（参考訳）: アライメントには幻想的な問題がある
• Authors: Nathanael Jo, Zoe De Simone, Mitchell Gordon, Ashia Wilson,
• Abstract要約: 目標が完全に形成される前に、AIシステムに携わる人がしばしば現れます。 我々は、ファンタジアの相互作用がアライメント研究の再考を要求すると主張している。 これは、機械学習、インターフェース設計、行動科学を橋渡しする学際的なアプローチを必要とする。
• 参考スコア（独自算出の注目度）: 1.3949483425295313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI assistants are trained to follow instructions, implicitly assuming that users can clearly articulate their goals and the kind of assistance they need. Decades of behavioral research, however, show that people often engage with AI systems before their goals are fully formed. When AI systems treat prompts as complete expressions of intent, they can appear to be useful or convenient, but not necessarily aligned with the users' needs. We call these failures Fantasia interactions. We argue that Fantasia interactions demand a rethinking of alignment research: rather than treating users as rational oracles, AI should provide cognitive support by actively helping users form and refine their intent through time. This requires an interdisciplinary approach that bridges machine learning, interface design, and behavioral science. We synthesize insights from these fields to characterize the mechanisms and failures of Fantasia interactions. We then show why existing interventions are insufficient, and propose a research agenda for designing and evaluating AI systems that better help humans navigate uncertainty in their tasks.
• Abstract（参考訳）: 現代のAIアシスタントは指示に従うように訓練されており、ユーザーは自分の目標と必要な支援の種類を明確に表現できると暗黙的に仮定している。 しかし、行動研究の数十年は、人々が目標が完全に形成される前に、しばしばAIシステムに従事していることを示している。 AIシステムはプロンプトを意図の完全な表現として扱う場合、有用か便利かのように見えるが、必ずしもユーザのニーズに合致しない。 これらの失敗をファンタジアの相互作用と呼ぶ。 我々は、ファンタジアの相互作用は、アライメント研究の再考を要求する: ユーザーを合理的なオラクルとして扱うのではなく、AIは、ユーザーが時間を通して意図を形作り、洗練するのを積極的に支援し、認知的支援を提供するべきである。 これは、機械学習、インターフェース設計、行動科学を橋渡しする学際的なアプローチを必要とする。 我々はこれらの分野から洞察を合成し、ファンタジアの相互作用のメカニズムと失敗を特徴づける。 そして、既存の介入が不十分な理由を示し、人間のタスクにおける不確実性をナビゲートするのに役立つAIシステムの設計と評価のための研究課題を提案する。

関連論文リスト

• Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence [31.666988490509237]
  我々は、人々がAIからアドバイスを求めるとき、梅毒の広範性と有害な影響を示す。 モデルは非常にサイコファン性が高く、ユーザーの行動が人間よりも50%多いことを確認しています。 参加者は、サイコファンティックな反応をより高い品質と評価し、サイコファンティックなAIモデルをより信頼し、再びそれを使う意思があった。
  論文  参考訳（メタデータ） (2025-10-01T19:26:01Z)
• Actionable AI: Enabling Non Experts to Understand and Configure AI Systems [5.534140394498714]
  Actionable AIでは、非専門家がブラックボックスエージェントを設定することができる。 不確実な条件下では、非専門家は高いレベルの性能を達成する。 我々は、AIベースのエージェントへのアクセスをオープンにする手段として、Actionable AIを提案する。
  論文  参考訳（メタデータ） (2025-03-09T23:09:04Z)
• AI Automatons: AI Systems Intended to Imitate Humans [54.19152688545896]
  人々の行動、仕事、能力、類似性、または人間性を模倣するように設計されたAIシステムが増加している。 このようなAIシステムの研究、設計、展開、可用性は、幅広い法的、倫理的、その他の社会的影響に対する懸念を喚起している。
  論文  参考訳（メタデータ） (2025-03-04T03:55:38Z)
• Explaining Explaining [0.882727051273924]
  高度なAIシステムに自信を持つ人々にとって、説明は鍵となる。 マシンラーニングベースのシステムは、通常はブラックボックスであるため、説明できない。 認知エージェント開発におけるハイブリッドアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-09-26T16:55:44Z)
• The Role of Heuristics and Biases During Complex Choices with an AI Teammate [0.0]
  古典的な実験手法は、AIヘルパーによる複雑な選択を研究するには不十分である、と我々は主張する。 我々は、フレーミングとアンカー効果が、人々がAIヘルパーと一緒に働く方法に影響を与え、選択結果を予測することを示した。
  論文  参考訳（メタデータ） (2023-01-14T20:06:43Z)
• Seamful XAI: Operationalizing Seamful Design in Explainable AI [59.89011292395202]
  AIシステムのミスは必然的であり、技術的制限と社会技術的ギャップの両方から生じる。 本稿では, 社会工学的・インフラ的ミスマッチを明らかにすることにより, シームレスな設計がAIの説明可能性を高めることを提案する。 43人のAI実践者と実際のエンドユーザでこのプロセスを探求します。
  論文  参考訳（メタデータ） (2022-11-12T21:54:05Z)
• What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps [69.53730499849023]
  説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。 分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。 私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
  論文  参考訳（メタデータ） (2022-10-07T12:51:27Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction [70.11080854486953]
  本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。 このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
  論文  参考訳（メタデータ） (2021-09-27T09:56:23Z)
• Building Bridges: Generative Artworks to Explore AI Ethics [56.058588908294446]
  近年,人工知能(AI)技術が社会に与える影響の理解と緩和に重点が置かれている。 倫理的AIシステムの設計における重要な課題は、AIパイプラインには複数の利害関係者があり、それぞれがそれぞれ独自の制約と関心を持っていることだ。 このポジションペーパーは、生成的アートワークが、アクセス可能で強力な教育ツールとして機能することで、この役割を果たすことができる可能性のいくつかを概説する。
  論文  参考訳（メタデータ） (2021-06-25T22:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。