論文の概要: The Impossibility of Eliciting Latent Knowledge

• arxiv url: http://arxiv.org/abs/2606.12268v1
• Date: Wed, 10 Jun 2026 16:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.550823
• Title: The Impossibility of Eliciting Latent Knowledge
• Title（参考訳）: 潜在知識の排除の可能性
• Authors: Korbinian Friedl, Francis Rhys Ward, Paul Yushin Rapoport, Tom Everitt, Jonathan Richens,
• Abstract要約: AIシステムにとって望ましい特性は、世界に対する信念を正確に報告することだ。 トレーニング中に正しいフィードバックを提供することで、開発者はエージェントに正直に質問に答えるインセンティブを与えることができる。 エージェントの振る舞いにのみ依存するフィードバックベースのトレーニング戦略はありません。
• 参考スコア（独自算出の注目度）: 13.840545605215697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advanced AI systems have extensive knowledge of their environments; in fact, their knowledge may (far) exceed that of their developers or users. Consequently, a desirable property for an AI system is that it is honest -- that it accurately reports its beliefs about the world. Designing an AI system to be honest may be difficult, especially if we want to ask it questions about latent variables in the environment -- variables which are hidden from the human interacting with it. This gives rise to the problem of eliciting latent knowledge (ELK): the problem of training an AI agent to honestly report its beliefs. In this paper, we make ELK formally precise using Causal Influence Diagrams (CIDs). CIDs can be used to describe the relationship between an agent's training environment and its subjective representation of the world. We use CIDs to formalise the distinction between observable and latent variables, to specify what exactly it means for an agent to be honest, and to formally define goal misgeneralisation. We show that, under certain circumstances, developers can incentivise an agent to honestly answer questions by providing correct feedback during training. However, a natural, but undesirable, way for an agent to generalise is to provide answers which humans would evaluate as true, rather than honest answers. We prove an impossibility theorem stating: There is no feedback-based training strategy that depends only on agent behaviour and with certainty produces an honest agent, even if feedback is perfect during training.
• Abstract（参考訳）: 高度なAIシステムは、彼らの環境に関する広範な知識を持っている。 したがって、AIシステムにとって望ましい特性は、その世界に対する信念を正確に報告することが正直であることだ。正直に言えば、AIシステムを設計することは困難である。特に、環境内の潜伏変数について質問したい場合、AIシステムと対話する人間から隠れた変数。 これは、潜伏知識(ELK)を引き出す問題を引き起こす。AIエージェントが信念を誠実に報告するように訓練する問題である。 本稿では,CID(Causal Influence Diagrams)を用いてELKを公式な精度で作成する。 CIDは、エージェントのトレーニング環境と世界の主観的表現との関係を記述するのに使用できる。 我々はCIDを使用して、観測可能変数と潜伏変数の区別を形式化し、エージェントが正直であることの意味を正確に定義し、目標の誤一般化を正式に定義します。 特定の状況下では、開発者は、トレーニング中に正しいフィードバックを提供することで、正直に質問に答えるエージェントにインセンティブを与えることができる。 しかし、エージェントが一般化する自然な、しかし望ましくない方法は、正直な答えではなく、人間が真であると評価する答えを提供することである。 エージェントの振る舞いにのみ依存するフィードバックベースのトレーニング戦略はなく、たとえトレーニング中にフィードバックが完璧であっても、確実に誠実なエージェントを生成する。

関連論文リスト

• Trustworthy AI Suffers from Invariance Conflicts and Causality is The Solution [80.98492754957466]
  公正性、堅牢性、プライバシ、説明可能性といった、信頼性の高いAI目標を同時に達成することは難しい。 本稿では、パフォーマンスにおけるトレードオフを理解しバランスをとるためには因果性が必要であると論じ、信頼できるAIの複数の目的について論じる。
  論文  参考訳（メタデータ） (2026-05-04T14:26:28Z)
• Less Interaction But More Explanation: A Communication Perspective on Agentic AI Interfaces [22.400756560286595]
  我々は,AIシステムのコミュニケーション的役割をユーザがどのように知覚するかについて議論する。 エージェントAIは複数のコミュニケーションの役割を果たすことができるため、このソース認識を複雑にし、潜在的なリスクを導入することができる。 我々はエージェントAIが組み込む必要がある3つのタイプの説明を提案する。
  論文  参考訳（メタデータ） (2026-05-02T21:21:21Z)
• Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
  TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。 TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。 We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
  論文  参考訳（メタデータ） (2025-10-06T05:03:57Z)
• Modeling Human Responses to Multimodal AI Content [10.65875439980452]
  MhAIMデータセットには154,552のオンラインポストが含まれている(うち111,153がAI生成) 私たちの人間による研究は、投稿にテキストとビジュアルの両方が含まれている場合、人々はAIコンテンツを特定するのがより優れていることを示している。 マルチモーダル情報に予測応答を組み込むことにより,ユーザの問い合わせに応答するエージェントシステムであるT-Lensを提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:55:19Z)
• The Limits of Predicting Agents from Behaviour [16.80911584745046]
  我々は,エージェントの行動が世界モデルによって導かれるという仮定の下で,正確な回答を提供する。 我々の貢献は、新しい(目に見えない)デプロイメント環境におけるエージェントの振る舞いに関する新しい境界の導出である。 公平性や安全性など,いくつかの研究領域において,これらの結果がもたらす意味について論じる。
  論文  参考訳（メタデータ） (2025-06-03T14:24:58Z)
• Memento No More: Coaching AI Agents to Master Multiple Tasks via Hints Internalization [56.674356045200696]
  本稿では,複雑なメモシステムや事前の高品質な実演データを必要としない,複数のタスクに対する知識とスキルを取り入れたAIエージェントの訓練手法を提案する。 このアプローチでは,エージェントが新たな経験を収集し,ヒントの形で人間から補正フィードバックを受け取り,このフィードバックを重みに組み込む,反復的なプロセスを採用している。 Llama-3をベースとしたエージェントに実装することで,数ラウンドのフィードバックの後,高度なモデルGPT-4oとDeepSeek-V3をタスクセットで性能向上させる手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-03T17:45:46Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Information Design in Multi-Agent Reinforcement Learning [61.140924904755266]
  強化学習(Reinforcement Learning、RL)は、人間の幼児や動物が環境から学ぶ方法にインスパイアされている。 計算経済学の研究は、他者に直接影響を与える2つの方法を蒸留する: 有形物(機械設計)の提供と情報(情報設計)の提供である。
  論文  参考訳（メタデータ） (2023-05-08T07:52:15Z)
• Self-Initiated Open World Learning for Autonomous AI Agents [16.41396764793912]
  実際にAIエージェントが使われるようになるにつれて、エージェントを完全に自律的にする方法を考える時が来た。 本稿では,自己開始型オープンワールド学習エージェントの構築研究を促進するための,この学習パラダイムの理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:11:02Z)
• Deceptive AI Explanations: Creation and Detection [3.197020142231916]
  我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
  論文  参考訳（メタデータ） (2020-01-21T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。