論文の概要: Incoherent Beliefs & Inconsistent Actions in Large Language Models

• arxiv url: http://arxiv.org/abs/2511.13240v1
• Date: Mon, 17 Nov 2025 11:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.142428
• Title: Incoherent Beliefs & Inconsistent Actions in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける一貫性のない信念と一貫性のない行動
• Authors: Arka Pal, Teo Kitanovski, Arthur Liang, Akilesh Potti, Micah Goldblum,
• Abstract要約: 現実世界のタスクや環境は、大きな言語モデル(LLM)が一般的に評価される静的データセットとは異なる。 LLMのパフォーマンスの2つの重要な要素について検討する: LLMが彼らの信念を一貫性を持って更新する能力と、彼らが取っている行動がそれらの信念と整合している範囲である。 本結果は,複雑な実世界の環境下でのLCMの挙動を予測することの難しさを浮き彫りにする。
• 参考スコア（独自算出の注目度）: 33.54139088666698
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Real-world tasks and environments exhibit differences from the static datasets that large language models (LLMs) are typically evaluated on. Such tasks can involve sequential interaction, requiring coherent updating of beliefs in light of new evidence, and making appropriate decisions based on those beliefs. Predicting how LLMs will perform in such dynamic environments is important, but can be tricky to determine from measurements in static settings. In this work, we examine two critical components of LLM performance: the ability of LLMs to coherently update their beliefs, and the extent to which the actions they take are consistent with those beliefs. First, we find that LLMs are largely inconsistent in how they update their beliefs; models can exhibit up to a 30% average difference between the directly elicited posterior, and the correct update of their prior. Second, we find that LLMs also often take actions which are inconsistent with the beliefs they hold. On a betting market, for example, LLMs often do not even bet in the same direction as their internally held beliefs over the underlying outcomes. We also find they have moderate self-inconsistency in how they respond to challenges by users to given answers. Finally, we show that the above properties hold even for strong models that obtain high accuracy or that are well-calibrated on the tasks at hand. Our results highlight the difficulties of predicting LLM behavior in complex real-world settings.
• Abstract（参考訳）: 現実世界のタスクや環境は、大きな言語モデル(LLM)が一般的に評価される静的データセットとは異なる。 このようなタスクは、シーケンシャルな相互作用を伴い、新しい証拠に照らして信念を一貫性を持って更新し、それらの信念に基づいて適切な決定を行う必要がある。 LLMがこのような動的環境でどのように機能するかを予測することは重要であるが、静的な設定での測定から判断するのは難しい。 本研究では,LLMのパフォーマンスの2つの重要な要素について考察する。 まず、LSMは、彼らの信念をどう更新するかにほとんど矛盾しておらず、モデルは直接引き起こされた後部とそれ以前の正しい更新の間に最大30%の平均的な差を示すことができる。 第二に、LLMは、自分の持つ信念と矛盾する行動をとることもしばしばある。 例えば賭け市場では、LSMは、基礎となる結果に対する内部的な信念と同じ方向に賭けることさえないことが多い。 また、ユーザによる回答の課題への対応方法にも、適度な自己整合性があることに気付きました。 最後に, 上記の特性が, 高い精度が得られる, あるいは手前のタスクに対して十分に校正された強いモデルであっても成り立つことを示す。 本結果は,複雑な実世界の環境下でのLCMの挙動を予測することの難しさを浮き彫りにする。

関連論文リスト

• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• Dissecting the Ullman Variations with a SCALPEL: Why do LLMs fail at Trivial Alterations to the False Belief Task? [1.4936946857731093]
  SCALPEL -- LLMが失敗する理由に関するさまざまな仮説をテストするために、刺激を段階的に修正するテクニックを導入します。 以上の結果から,LLMは本質的な常識推論を行なわなかったため,よくうまくいかないことが示唆された。 現代のLLMは単なるパターンマッチングを超えてはいるものの、頑健な人間のようなToMには相変わらず不足していると結論付けている。
  論文  参考訳（メタデータ） (2024-06-20T21:02:30Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Are Large Language Models Temporally Grounded? [38.481606493496514]
  文章を記述したLarge Language Model (LLM) を提供する。 イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。 これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
  論文  参考訳（メタデータ） (2023-11-14T18:57:15Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。