論文の概要: PragWorld: A Benchmark Evaluating LLMs' Local World Model under Minimal Linguistic Alterations and Conversational Dynamics

• arxiv url: http://arxiv.org/abs/2511.13021v1
• Date: Mon, 17 Nov 2025 06:17:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.715062
• Title: PragWorld: A Benchmark Evaluating LLMs' Local World Model under Minimal Linguistic Alterations and Conversational Dynamics
• Title（参考訳）: PragWorld:LLMの局所世界モデルの評価ベンチマーク
• Authors: Sachin Vashistha, Aryan Bibhuti, Atharva Naik, Martin Tutek, Somak Aditya,
• Abstract要約: 我々は,言語モデル (LM) の内的世界モデルを符号化し,更新する能力を評価する。 本研究では,会話の言語的変化による実体の追跡など,LMが重要な詳細を記憶するのに苦労していることを示す。 本稿では,有用あるいは有害なトランスフォーマー層を識別する,二重パースペクティブ解釈可能性フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.915303686933436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world conversations are rich with pragmatic elements, such as entity mentions, references, and implicatures. Understanding such nuances is a requirement for successful natural communication, and often requires building a local world model which encodes such elements and captures the dynamics of their evolving states. However, it is not well-understood whether language models (LMs) construct or maintain a robust implicit representation of conversations. In this work, we evaluate the ability of LMs to encode and update their internal world model in dyadic conversations and test their malleability under linguistic alterations. To facilitate this, we apply seven minimal linguistic alterations to conversations sourced from popular datasets and construct two benchmarks comprising yes-no questions. We evaluate a wide range of open and closed source LMs and observe that they struggle to maintain robust accuracy. Our analysis unveils that LMs struggle to memorize crucial details, such as tracking entities under linguistic alterations to conversations. We then propose a dual-perspective interpretability framework which identifies transformer layers that are useful or harmful and highlights linguistic alterations most influenced by harmful layers, typically due to encoding spurious signals or relying on shortcuts. Inspired by these insights, we propose two layer-regularization based fine-tuning strategies that suppress the effect of the harmful layers.
• Abstract（参考訳）: 現実の会話は、実体の言及、参照、不適応といった現実的な要素に富んでいる。 このようなニュアンスを理解することは、自然のコミュニケーションを成功させるために必要であり、しばしばそのような要素を符号化し、進化する状態のダイナミクスを捉えるローカルな世界モデルを構築する必要がある。 しかし、言語モデル(LM)が会話の強固な暗黙的表現を構築したり維持したりするかどうかはよく理解されていない。 本研究は, 言語的変化による内的世界モデルを符号化し, 更新し, 可換性を検証する能力を評価するものである。 これを容易にするために、一般的なデータセットから得られた会話に7つの最小限の言語変化を適用し、イエスノー質問を含む2つのベンチマークを構築した。 オープンかつクローズドなオープンソースLMを幅広く評価し、堅牢な精度を維持するのに苦労していることを観察する。 我々の分析によると、LMは言語的変化による会話の実体の追跡など、重要な詳細を記憶するのに苦労している。 そこで我々は,有益あるいは有害なトランスフォーマー層を識別し,有害な層に最も影響される言語的変化を強調する,二重パースペクティブな解釈可能性フレームワークを提案する。 これらの知見に触発されて、有害な層の効果を抑制する2つの層規則化に基づく微調整戦略を提案する。

関連論文リスト

• Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth [21.092167028989632]
  ドライブロロジーは「深みのあるナンセンス」によって特徴づけられる言語現象である 我々は、英語、マンダリン、スペイン語、フランス語、日本語、韓国語で、1200以上の精巧にキュレートされ、多様なサンプルのベンチマークデータセットを構築した。 現在の大規模言語モデル (LLM) は,ドライブロジカルテキストの階層的意味論の理解に一貫して失敗している。
  論文  参考訳（メタデータ） (2025-09-04T03:58:55Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。