論文の概要: Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

• arxiv url: http://arxiv.org/abs/2607.25094v2
• Date: Wed, 29 Jul 2026 14:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 14:21:10.718934
• Title: Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
• Title（参考訳）: 命令認識とキャンセレーションによる大規模言語モデルにおけるコミュニケーション的信念更新の評価
• Abstract要約: 大規模言語モデルでは,不規則を通した無意味な信念を認識でき,不規則なキャンセルを通じてその更新を理解することができる。 我々は,人間による不適応の判断とそれに対応するキャンセルのためにクラウドソースされた,最初のエキスパート注釈付き不適応キャンセルデータセットであるImplicatureXを作成している。
• 参考スコア（独自算出の注目度）: 24.054030923829387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human language is driven by unspoken beliefs and belief updates, making these critical to model for successful communication between large language models (LLMs) and their users. In this paper, we evaluate the ability of LLMs to recognize unspoken beliefs made through implicatures and to understand their updates through implicature cancellation: the pragmatic phenomenon whereby an utterance's implied meaning is weakened or negated. We create the first expert-annotated implicature cancellation dataset, ImplicatureX, crowdsourced for human judgements of implicatures and their corresponding cancellations. We find that LLM belief update understanding lags behind that of humans, especially in more naturally-occurring scenarios. Additional control experiments suggest that successes in LLM belief updates may stem in part from a reliance on prior beliefs, and that failures in belief updates may depend on their type and on their form. Overall, our study suggests that current LLMs have not yet reached human-level understanding of unspoken beliefs and belief updates. Code and data are available at https://github.com/cesare-spinoso/ImplicatureX.
• Abstract（参考訳）: 人間の言語は、無意味な信念と信念の更新によって駆動され、これらが大きな言語モデル(LLM)とユーザ間のコミュニケーションを成功させるためのモデルとして重要である。 本稿では,LLMが不合理性によって生ずる不合理な信念を認識し,その更新を不合理性キャンセルによって理解する能力を評価する。 我々は,人間による不適応の判断とそれに対応するキャンセルのためにクラウドソースされた,最初のエキスパート注釈付き不適応キャンセルデータセットであるImplicatureXを作成している。 LLMの信念は、特に自然に発生するシナリオにおいて、人間のそれより遅れていることを理解している。 追加の制御実験は、LCMの信念更新の成功は、部分的には以前の信念に依存することに起因する可能性があり、信念更新の失敗は、そのタイプや形態に依存する可能性があることを示唆している。 全体としては、現在のLSMは、未解決の信念と信条の更新についての人間レベルの理解にはまだ達していないことを示唆している。 コードとデータはhttps://github.com/cesare-spinoso/ImplicatureXで公開されている。

関連論文リスト

• Beliefs and Behavior in Language Models [15.920644659904903]
  大型言語モデル(LLM)の振る舞いを説明するためにしばしば信念が呼び出される LLMの出力から推測される1つの潜伏変数 -- 信念の程度として解釈された -- が、観察者が解釈可能な予測を行うことができるかどうかを問う。 高い能力を持つモデルは、信念を保持するものとして有用であり、一般に、推論された潜在信念に基づくモデルアウトプットの予測可能性は、モデル能力の全体的なトレンドをトラックする。
  論文  参考訳（メタデータ） (2026-09-07T19:56:02Z)
• Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It [7.192001578491251]
  大規模言語モデル (LLM) は, 誤った情報に基づくユーザ信念の認識において, 体系的な弱点を示すことを示す。 弱さの大きさと方向は、信念を表現するために使われる動詞に依存しており、事実情報と偽情報の精度の差は「曖昧に記憶」で+50%から「本気で疑う」で-14%まで様々である。 機械的には、モデルは確認できない誤った信念により従うが、復号時にこの注意を抑えることで、一部のモデルでのみ精度を回復する。
  論文  参考訳（メタデータ） (2026-08-18T14:06:26Z)
• Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
  LLMは、真のアセスメントを提供するのではなく、"am I in the wrong? LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。 我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
  論文  参考訳（メタデータ） (2026-04-03T14:15:43Z)
• The Hidden Puppet Master: Predicting Human Belief Change in Manipulative LLM Dialogues [31.570641650845946]
  PUPPETは,日常的,助言的文脈における隠されたインセンティブの道徳的方向性に焦点を当てた理論的分類法である。 我々はN=1,035人のLLMインタラクションの評価データセットを提供する。 この研究は、理論的基礎と行動学的に検証されたAI社会安全活動の基礎を確立する。
  論文  参考訳（メタデータ） (2026-03-21T18:37:43Z)
• Accommodation and Epistemic Vigilance: A Pragmatic Account of Why LLMs Fail to Challenge Harmful Beliefs [35.198654113796024]
  ヒトの宿泊に影響を与えることが知られている社会的・言語的要因が、大きな言語モデルにおける宿泊に影響していることが示される。 ここでは,「1分待つ」というフレーズを付けるなど,簡単な実践的な介入によって安全性ベンチマークのパフォーマンスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-07T22:47:24Z)
• Incoherent Beliefs & Inconsistent Actions in Large Language Models [33.54139088666698]
  現実世界のタスクや環境は、大きな言語モデル(LLM)が一般的に評価される静的データセットとは異なる。 LLMのパフォーマンスの2つの重要な要素について検討する: LLMが彼らの信念を一貫性を持って更新する能力と、彼らが取っている行動がそれらの信念と整合している範囲である。 本結果は,複雑な実世界の環境下でのLCMの挙動を予測することの難しさを浮き彫りにする。
  論文  参考訳（メタデータ） (2025-11-17T11:04:00Z)
• Are Large Language Models Sensitive to the Motives Behind Communication? [9.246336669308665]
  大規模言語モデル(LLM)とAIエージェントは、人間の意図とインセンティブによって本質的にフレーム化された情報を処理する。 LLMが現実世界で有効であるためには、ソースのモチベーションを要因としてコンテンツの評価を批判的に行う必要がある。 我々は認知科学から制御された実験を用いて、LCMの行動が動機付けられた証言からの学習の合理的モデルと一致していることを検証する。 LLMの推論は、合理的なモデルをほとんど正確に追跡していないことが分かっています -- 一部には、警戒と関連する考慮を妨げている追加情報があるからです。
  論文  参考訳（メタデータ） (2025-10-22T15:35:00Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Can Reasoning Help Large Language Models Capture Human Annotator Disagreement? [84.32752330104775]
  ヒトのアノテーションの変化(つまり不一致)は、NLPでは一般的である。 異なる推論条件が大言語モデルの不一致モデルに与える影響を評価する。 意外なことに、RLVRスタイルの推論は不一致モデリングにおいて性能を低下させる。
  論文  参考訳（メタデータ） (2025-06-24T09:49:26Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Towards Logically Consistent Language Models via Probabilistic Reasoning [14.317886666902822]
  大規模言語モデル(LLM)は、自然言語理解および生成タスクのための有望な場所である。 LLMは、非現実的な情報を生成し、世界の信念を推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが事実やルールの集合という形で,外部知識と整合性を持つように教える学習目標を導入する。
  論文  参考訳（メタデータ） (2024-04-19T12:23:57Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。