論文の概要: Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents
- arxiv url: http://arxiv.org/abs/2606.00476v1
- Date: Sat, 30 May 2026 02:02:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.482112
- Title: Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents
- Title(参考訳): LLMエージェントの誠実さのギャップを埋める
- Abstract要約: 我々はテキサス・ポーカーシミュレータを用いて、信頼ギャップによるすべての決定に対する検証可能な参照アクションを、推論と結論の2つのステップに分割する。
2つのステップは反対に振る舞う。
- 参考スコア(独自算出の注目度): 2.921159958223653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do LLM agents act on the reasoning they state? This question of process fidelity is central to using LLMs in social simulation, yet it is hard to measure where no reference for correct behavior exists. We study it in acontrolled setting, a Texas Poker simulator with a verifiable reference action for every decision by decomposing the faithfulness gap into two steps: reasoning-conclusion and conclusion-action. The two steps behave oppositely.
- Abstract(参考訳): LLMエージェントは、彼らが言うように振る舞うのか?
このプロセスの忠実性の問題は、社会シミュレーションにおいてLLMを使うことの中心であるが、正しい行動の参照がない場所を測ることは困難である。
我々は,テキサス・ポーカー・シミュレータにおいて,信頼度ギャップを2つのステップに分解することで,すべての決定に対して検証可能な参照動作を有する無制御環境で研究する。
2つのステップは反対に振る舞う。
関連論文リスト
- Can LLMs Emulate Human Belief Dynamics? [4.918358353535447]
LLMは初期の人間の信念の分布を捉えることができず、人間よりも全体的な適合性が高い傾向にある。
彼らはまた、ネットワーク内のヒトの同性愛傾向をエミュレートするためのニュアンスなアプローチを取る。
論文 参考訳(メタデータ) (2026-05-05T23:21:11Z) - Why Do LLMs Struggle in Strategic Play? Broken Links Between Observations, Beliefs, and Actions [22.817330994735254]
大規模言語モデル(LLM)は、不完全な情報の下での戦略的意思決定にますます取り組まれている。
不完全情報ゲームにおけるLSMの意思決定の基盤となる内部メカニズムには,2つの根本的なギャップがある。
論文 参考訳(メタデータ) (2026-04-30T21:04:38Z) - Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
LLMは、真のアセスメントを提供するのではなく、"am I in the wrong?
LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。
我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
論文 参考訳(メタデータ) (2026-04-03T14:15:43Z) - Reason-KE++: Aligning the Process, Not Just the Outcome, for Faithful LLM Knowledge Editing [63.96040994220329]
SFTに基づく手法、例えばReason-KEは「偽りのギャップ」に悩まされている。
このギャップにより、LLMの強力なパラメトリック先行は、新しい文脈事実をオーバーライドすることができる。
本稿では,プロセスレベルの忠実性を具現化するSFT+RLフレームワークReason-KE++を提案する。
論文 参考訳(メタデータ) (2025-11-16T15:49:01Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳(メタデータ) (2025-11-09T03:38:29Z) - Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought [72.45900226435289]
大きな言語モデル(LLM)は、テスト時に長いチェーン・オブ・ソート(CoT)を生成することができ、複雑なタスクを解決できる。
提案したTrue Thinking Score (TTS) を用いて、各推論ステップの段階的因果関係がモデルの最終予測に与える影響を測定する。
我々は、LLMの潜在空間におけるTrueThinking方向を同定し、モデルに特定のCoTステップの実行や無視を強制することができる。
論文 参考訳(メタデータ) (2025-10-28T20:14:02Z) - Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。
そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
論文 参考訳(メタデータ) (2025-08-08T14:46:35Z) - WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。
我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
論文 参考訳(メタデータ) (2025-07-22T03:21:48Z) - Do Large Language Models Exhibit Spontaneous Rational Deception? [0.913127392774573]
大規模言語モデル (LLM) は、そのように促されるときの判断に有効である。
しかし、どんな条件で自然に騙されるのか?
本研究は, LLMが生み出す自発誤を, 予め登録した実験プロトコルで評価する。
論文 参考訳(メタデータ) (2025-03-31T23:10:56Z) - Understanding the Dark Side of LLMs' Intrinsic Self-Correction [58.12627172032851]
LLMの応答を改善するために,本質的な自己補正法が提案された。
近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。
内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-12-19T15:39:31Z) - Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
本研究では,複数質問とオープンエンド質問の相違点について検討した。
ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
論文 参考訳(メタデータ) (2023-11-10T08:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。