論文の概要: MemoReason: Evaluating the Effect of Parametric Memory on Contextual Reasoning in LLMs
- arxiv url: http://arxiv.org/abs/2609.35312v1
- Date: Mon, 28 Sep 2026 14:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:33:48.047453
- Title: MemoReason: Evaluating the Effect of Parametric Memory on Contextual Reasoning in LLMs
- Title（参考訳）: MemoReason: LLMの文脈推論におけるパラメトリックメモリの効果の評価
- Abstract要約: 大規模言語モデル(LLM)は推論ベンチマークでよく機能するが、それが真の文脈推論を反映しているかどうかは不明だ。
そこで本研究では,一般的なコンテンツが推論性能を向上させるような広義のテキスト記憶バイアスと,モデルが推論を完全にスキップし,記憶された回答をリコールするTextitStrong Parametric Shortcut hypothesisの2つの可能性について検討する。
- 参考スコア（独自算出の注目度）: 17.19076179788018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) perform well on reasoning benchmarks, but it remains unclear whether this reflects genuine contextual reasoning or reliance on facts memorized in their parameters. We investigate this by distinguishing two possibilities: a broad \textit{memorization bias}, where familiar content improves reasoning performance, and the \textit{Strong Parametric Shortcut Hypothesis}, where models skip reasoning entirely and recall stored answers. To test these effects, we introduce \textbf{MemoReason}, a human-curated benchmark that pairs factual reasoning tasks with structurally identical \fictitiousterm{} versions where real entities like people, companies, or dates are systematically replaced by \fictitiousterm{} ones of the same type. This \scorerevision{preserves task structure and specified reasoning operations} while varying the familiarity of the context, allowing controlled measurement of how the parametric memory affects reasoning. \revision{Our evaluation of recent LLMs reveals consistent and statistically significant performance drops of up to 15.7\% in the fictitious setting, demonstrating a clear memorization bias.} However, a targeted analysis of \revision{questions failed in the fictitious setting} shows that models rarely respond with the corresponding factual answer, indicating that direct parametric shortcuts are not the dominant failure mode. These findings suggest that parametric memory influences reasoning through mechanisms more complex than simple factual recall. \textbf{MemoReason} provides a controlled framework for studying these mechanisms and for extending paired factual-fictitious{} evaluation to broader reasoning settings.
- Abstract（参考訳）: 大規模言語モデル(LLM)は推論ベンチマークでよく機能するが、それが実際の文脈的推論を反映しているのか、あるいはパラメータで記憶された事実に依存しているのかは不明だ。
そこで本研究では,一般的なコンテンツが推論性能を向上させるような広義の \textit{memorization bias} と,モデルが推論を完全にスキップし,記憶された回答をリコールする \textit{Strong Parametric Shortcut hypothesis} の2つの可能性について検討する。
これらの効果をテストするために、構造的に同一の \fictitiousterm{} バージョンと実際の推論タスクをペアリングする人間計算ベンチマークである \textbf{MemoReason} を紹介します。
この \scorerevision{preserves task structure and specified reasoning operations} はコンテキストの親しみやすさを変化させ、パラメトリックメモリが推論にどう影響するかを制御できる。
最近のLCMの評価では、架空の設定で最大15.7\%の一貫性と統計的に有意な性能低下が示され、明確な記憶バイアスが示される。
しかし, 虚偽設定においては, 直接パラメトリックショートカットが支配的な障害モードではないことを示すために, モデルが対応する事実応答にほとんど反応しないことが示唆された。
これらの結果から,パラメトリック記憶は単純な事実記憶よりも複雑なメカニズムによる推論に影響を与えることが示唆された。
\textbf{MemoReason} は、これらのメカニズムを研究し、より広い推論設定にペアのファクトファクトファクトの{} 評価を拡張するための制御されたフレームワークを提供する。
関連論文リスト
- Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。
推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。
頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
論文 参考訳（メタデータ） (2026-04-29T07:06:43Z) - CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。
CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。
回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
論文 参考訳（メタデータ） (2026-02-23T18:06:15Z) - Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。
因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
論文 参考訳（メタデータ） (2026-01-29T03:22:58Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳（メタデータ） (2026-01-07T16:39:34Z) - Project Ariadne: A Structural Causal Framework for Auditing Faithfulness in LLM Agents [0.0]
エージェント推論の因果的整合性を評価するための新しいXAIフレームワークである textbfProject Ariadne を紹介する。
表面レベルのテキスト類似性に依存する既存の解釈可能性メソッドとは異なり、Project Ariadne は中間推論ノードに対して textbfhard の介入(do$-calculus)を行う。
我々の最先端モデルに対する実証的な評価は、永続的なテクスチャフルネスギャップを明らかにします。
論文 参考訳（メタデータ） (2026-01-05T18:05:29Z) - Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning [0.0]
InftyThink with Cross-Chain Memoryは、以前成功した推論パターンの埋め込みベースのセマンティックキャッシュで反復推論を強化する拡張である。
実験により、意味補題検索は、不均一なドメインを含むテストにおいて、障害モードを露呈しながら、構造化ドメインの精度を向上させることが示された。
論文 参考訳（メタデータ） (2025-12-22T00:26:54Z) - Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective [59.7140089198992]
抽象的推論を本質的なパターンを抽出する能力として定義する数学的枠組みを開発する。
基本的な推論精度を計測する(scoreGamma)と、特定のシンボルに依存するモデルの定量化(scoreDelta)である。
論文 参考訳（メタデータ） (2025-05-28T09:02:45Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。