論文の概要: Memory vs. Context? Influential Factors of Factual Recall in Language Models

• arxiv url: http://arxiv.org/abs/2609.24238v1
• Date: Mon, 21 Sep 2026 08:01:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.2046
• Title: Memory vs. Context? Influential Factors of Factual Recall in Language Models
• Title（参考訳）: 記憶と文脈 : 言語モデルにおけるファクチュアルリコールの要因
• Abstract要約: 我々は、記憶された知識と矛盾する文脈内文の間の言語モデルがどのように仲裁するかを特徴付けるYuらの研究を再現し、ストレステストする。 実験により元の発見のほとんどを確認できたが,いくつかの結論は明確化されていない。
• 参考スコア（独自算出の注目度）: 6.449274959807611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We reproduce and stress-test the work of Yu et al. (2023), who characterize how language models (LMs) arbitrate between memorized knowledge and contradictory in-context statements. We replicate their world-capitals experiments on 31 models spanning Pythia, GPT-2, Qwen3, and Ministral families, including base and post-trained variants, and extend evaluations to five additional knowledge relation types from the ParaConflict dataset. We empirically confirm most of their original findings: larger models and higher-frequency entities tend to favor memorized answers, with substantial family-level variance. However, several conclusions do not generalize cleanly: entity-frequency effects disappear on Qwen3-14B and 32B; post-training shifts the memory-context trade-off inconsistently across families; question phrasing alone can change a model's reliance on memorized knowledge by up to 80 percentage points; and semantically unrelated prose can mimic coherent supporting context. Our results clarify where Yu et al.'s claims hold and to what extent they generalize to other prompts.
• Abstract（参考訳）: 我々は、記憶された知識と矛盾する文脈内文の間の言語モデル(LM)がどう仲裁するかを特徴付けるYu et al(2023)の作品を再現し、ストレステストする。 我々は,Pythia,GPT-2,Qwen3,Ministralファミリーにまたがる31種類のモデルを対象とした世界資本実験を再現し,ParaConflictデータセットから5種類の知識関係型に評価を拡張した。 より大型のモデルと高頻度のエンティティは,家族レベルのばらつきを伴い,記憶された回答を好む傾向にある。 しかし、実体周波数効果はQwen3-14Bと32Bで消失し、後学習は家族間で不整合にメモリコンテキストのトレードオフをシフトする。 以上の結果から,Yu et al の主張がどこにあるのか,どの程度に他のプロンプトに一般化するかが明らかとなった。

関連論文リスト

• Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty [8.148357447770893]
  大規模言語モデル(LLM)は、しばしば自信を持ち、雄弁で、よく理解されている。 彼らは知らないことを知っていますか。 我々は,LLMがその知識の境界を適切に認識するかどうかを評価するための新しい指標を開発した。
  論文  参考訳（メタデータ） (2026-09-07T18:40:08Z)
• Fine-Tuning Dynamics of In-Context Factual Recall in Transformers [63.1821972855273]
  インコンテキスト学習 -- プロンプトで与えられた例に基づいてタスクを実行する -- は、大きな言語モデルに現れている。 非コンテキスト学習が事実的知識のリコールをどのように活用するかを研究する。 IC-リコールデータを用いた1層トランスの微調整特性の解析を行った。
  論文  参考訳（メタデータ） (2026-05-26T23:47:26Z)
• CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models [3.137688620241855]
  CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。
  論文  参考訳（メタデータ） (2025-06-20T17:35:36Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Verbosity $\neq$ Veracity: Demystify Verbosity Compensation Behavior of Large Language Models [8.846200844870767]
  大規模言語モデル(LLM)の好ましくない振る舞いの下位タイプを発見する。 我々はVerbosity Compensation (VC) を不確実性下での人間の鎮静行動と類似しているとしている。 本稿では, 冗長応答を他のモデル生成応答に置き換える, 単純で効果的なカスケードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T15:15:20Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。