論文の概要: When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs

• arxiv url: http://arxiv.org/abs/2606.21203v1
• Date: Fri, 19 Jun 2026 08:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:23:35.630741
• Title: When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs
• Title（参考訳）: LLMにおけるコヒーレンスイリュージョンの指標としての前提・エネルギー・注意エントロピー
• Authors: Ece Takmaz, Nitin Kumar, Li Kloostra, Jakub Dotlacil,
• Abstract要約: オランダ語モデルが以前の文脈にリンクするテキストに同じ振る舞いを示すかどうかを検討する。 人間の判断と視線追跡データを追跡する。 第二に、臨界位置における注意エントロピーは、コヒーレンスと非コヒーレンスで異なる振る舞いをする頭部を特定する。 第3に、談話コヒーレンスを定量化するための指標として、連想記憶文学からエネルギーを導入する。
• 参考スコア（独自算出の注目度）: 2.295748317603858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Psycholinguistics studies show that human readers fall for coherence illusions: an incoherent discourse can seem coherent simply because a distractor matches what comes next. We investigate whether Dutch language models (6 monolingual and 4 multilingual) show the same behavior on texts that link back to earlier context with words such as 'again' and 'too'. First, we find that surprisal at the critical word tracks human acceptability judgments and eye-tracking data. Models are more surprised by incoherent continuations, but a matching distractor in the prior context reduces this surprisal. Second, attention entropy at the critical position identifies heads that behave differently under coherence vs. incoherence. We find that ablating these heads shows transfer effects across experiments, suggesting a shared mechanism. Third, we introduce energy from the associative-memory literature as a metric to quantify discourse coherence. Taken together, our results show that coherence illusions arise in Dutch LLMs, with entropy and energy exposing mechanisms that operate across settings.
• Abstract（参考訳）: 心理学的な研究は、人間の読者がコヒーレンス・イリュージョン(コヒーレンス・イリュージョン)に陥ることを示している。 オランダ語モデル(6つの単言語と4つの多言語)が、以前の文脈に「アゲイン」や「トゥ」といった単語でリンクするテキストに同じ振る舞いを示すかどうかを検討する。 まず、人間の受容可能性判断と視線追跡データを追跡する。 モデルはコヒーレントな連続によってより驚かされるが、以前の文脈での一致した気晴らしにより、この仮定は減少する。 第二に、臨界位置における注意エントロピーは、コヒーレンスと非コヒーレンスで異なる振る舞いをする頭部を特定する。 これらの頭部を非難すると、実験間での伝達効果が示され、共有メカニズムが示唆される。 第3に、談話コヒーレンスを定量化するための指標として、連想記憶文学からエネルギーを導入する。 その結果,オランダのLLMでは,エントロピーとエネルギ露光機構によってコヒーレンス錯覚が発生することがわかった。

関連論文リスト

• Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning [82.86343313807158]
  我々は、視覚的証拠が推論プロセスにどのように、いつ導入されるかが中心的な課題であると主張している。 この知見により,言語モデルが推論プロセスを制御するマルチモーダル推論フレームワークCSMRを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:43:13Z)
• Imagination Helps Visual Reasoning, But Not Yet in Latent Space [65.80396132375571]
  因果関係分析を用いた潜伏推論の有効性について検討した。 潜在トークンが限られた視覚情報を符号化し、高い類似性を示すことを示す。 CapImagineという簡単な代替案を提案し、テキストを明示的に想像するようにモデルに教える。
  論文  参考訳（メタデータ） (2026-02-26T08:56:23Z)
• Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models [57.834711966432685]
  哲学者ハリー・フランクフルト(Harry Frankfurt)によって概念化されたブルシット(Bullshit)は、その真理の価値を問わない言明を指す。 本稿では,大言語モデルの真偽に対する無関心を定量化する新しい指標であるブルシット指数を紹介する。 我々は、政治的文脈で一般的な機械いじめを観察し、軽快な言葉が支配的な戦略である。
  論文  参考訳（メタデータ） (2025-07-10T07:11:57Z)
• Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs [16.766414745922628]
  我々は,様々な言語モデル (LM) にまたがる新しい現象,文脈学習を観察し,迅速な設定を行う。 文脈的エントレメントの大きさが意味的要因の影響を受けているという統計的に有意な証拠が得られている。
  論文  参考訳（メタデータ） (2025-05-14T12:33:05Z)
• Confabulation: The Surprising Value of Large Language Model Hallucinations [0.7249731529275342]
  ナラティビティを認知的資源として活用するために,LLMのコミュニケーションの計測可能な意味的特性は,人間の正当性を反映している,と我々は主張する。 この発見は、通常、非難の否定的な理解の中で緊張を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-06T15:32:29Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention [4.103438743479001]
  主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。 動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
  論文  参考訳（メタデータ） (2021-04-26T20:46:54Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。