論文の概要: Learning a Fact Is Not Learning How to Retrieve It

• arxiv url: http://arxiv.org/abs/2610.03251v1
• Date: Fri, 02 Oct 2026 12:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.376488
• Title: Learning a Fact Is Not Learning How to Retrieve It
• Title（参考訳）: ファクトの学習は、それを検索する方法を学ばない
• Abstract要約: XはYである」と訓練されたモデルでは、「XはYである」の後に「Y」を生成できるが、「XはYである」の後に失敗する。 事実を検索から分離するために、2つの段階で2つのモデルをトレーニングする。 第一段階(要求形式トレーニング)では、1つのモデルがそれぞれの事実を5つの形式で、もう一方は同じ事実をステートメントとしてのみ見る。 どちらもステートメントからほぼ同等に新しい事実を検索するが、他のリクエストフォームで大きく異なる。
• 参考スコア（独自算出の注目度）: 2.6646205080230536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model trained on "The capital of X is Y" may produce "Y" after "The capital of X is" but fail after "The capital of X:". We call these different ways of eliciting the same fact request forms. To separate learning a fact from retrieving it, we train two models in two stages. In the first stage (request-form training), one model sees each fact in five forms and the other sees the same facts only as statements. In the second stage (target-fact training), both receive identical training on new facts, all as statements. Both then retrieve the new facts almost equally well from statements, but differ sharply on other request forms. Thus, a model can learn how to retrieve through a request form before it learns the facts. To understand this difference, we examine the hidden state immediately before the answer, which we call the context state. When given two different request forms for the same fact, the model trained on five forms in stage one produces more similar context states than the model trained on statements alone in that stage. Changing this state at retrieval time can enable or prevent retrieval of an already learned fact, and the same effect transfers across facts and factual relations, such as capitals and currencies. To test its role during learning, we change the context state only during target-fact training. This intervention changes later retrieval without intervention at test time. Together, these results show that later retrieval depends on earlier request-form experience and the context state during fact learning.
• Abstract（参考訳）: Xの首都はYである」と訓練されたモデルは、「Xの首都はYである」の後に「Y」を生成するが、「Xの首都」の後に失敗する。 私たちは、同じ事実要求フォームを抽出する、これらの異なる方法を呼びます。 事実を検索から分離するために、2つの段階で2つのモデルをトレーニングする。 第一段階(要求形式トレーニング)では、1つのモデルがそれぞれの事実を5つの形式で、もう一方は同じ事実をステートメントとしてのみ見る。 第2段階(ターゲット-ファクトトレーニング)では、どちらも新しい事実に関する同一のトレーニングを受けます。 どちらもステートメントからほぼ同等に新しい事実を検索するが、他のリクエストフォームで大きく異なる。 したがって、モデルは、事実を知る前に、リクエストフォームから取得する方法を学ぶことができる。 この違いを理解するため,回答の直前に隠れた状態を検証し,これを文脈状態と呼ぶ。 同じ事実に対して2つの異なるリクエストフォームが与えられた場合、ステージ1の5つのフォームでトレーニングされたモデルは、ステージ1のステートメントだけでトレーニングされたモデルよりも、より似たコンテキスト状態を生成する。 この状態を検索時に変更することは、既に学んだ事実の検索を可能にしたり、あるいは防止することができる。 学習中にその役割をテストするため、ターゲットファクトトレーニング時にのみコンテキスト状態を変更する。 この介入は、テスト時に介入せずに後続の検索を変更する。 これらの結果から、後続の検索は、過去の要求形式体験と、事実学習時のコンテキスト状態に依存することが明らかとなった。

関連論文リスト

• Emergence of Linear Truth Encodings in Language Models [64.86571541830598]
  大規模言語モデルは偽文と真を区別する線形部分空間を示すが、それらの出現のメカニズムは不明確である。 このような真理部分空間をエンドツーエンドに再現する,透明な一層トランスフォーマー玩具モデルを導入する。 本研究では,真理エンコーディングが実現可能な単純な設定について検討し,将来のトークンにおけるLM損失を減らすために,この区別を学習するようモデルに促す。
  論文  参考訳（メタデータ） (2025-10-17T16:30:07Z)
• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [44.31597857713689]
  最初の段階でActive Indexingを導入し、一般化可能なソースアンコールバインディングを作成します。 Qwen-2.5-7B&3Bの実験は、アクティブインデックスがパッシブインデックスのベースラインを一貫して上回っていることを示している。 内部の引用は、モデルを検索ノイズに対してより堅牢にすることで、外部の引用を補完する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers [0.0]
  大規模言語モデルにおける記憶と一般化の関係について検討する。 小さなモデルは未確認の算術の場合に外挿するが、事実を記憶できないが、大きなモデルは記憶するが外挿することができない。 調査の結果、事前学習は本質的に他の学習モードよりも1つの学習モードを好む可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T14:49:33Z)
• Understanding Fact Recall in Language Models: Why Two-Stage Training Encourages Memorization but Mixed Training Teaches Knowledge [21.798525556259378]
  トレーニング戦略がトレーニング中にモデルパラメータがどのように形成され、これらの違いが事実を思い出す能力にどのように影響するかを検討する。 Llama-3.2B と Pythia-2.8B モデルを用いて合成ファクトリコールデータセットの解析を行ったところ、混合トレーニングはより大きく、より集中的な共有パラメータのセットを促進することがわかった。
  論文  参考訳（メタデータ） (2025-05-22T03:34:29Z)
• How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence [52.9442657690445]
  大規模言語モデル(LLM)の成功にはポストトレーニングが不可欠である 学習後効果をよりよく理解するために,4つの視点からベースとポストトレーニング後のLLMを比較した。
  論文  参考訳（メタデータ） (2025-04-03T06:30:55Z)
• Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
  本稿では,4つの基本的な知識操作タスクについて検討する。 言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。 また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
  論文  参考訳（メタデータ） (2023-09-25T17:50:41Z)
• What Can Transformers Learn In-Context? A Case Study of Simple Function Classes [67.06980111346245]
  インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。 我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。 また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
  論文  参考訳（メタデータ） (2022-08-01T18:01:40Z)
• Training Dynamics for Text Summarization Models [45.62439188988816]
  我々は、ニュース要約に着目して、世代モデルのトレーニングダイナミクスを分析する。 異なるデータセット (CNN/DM, XSum, MediaSum) と要約特性を用いて, モデルが微調整プロセスの異なる段階で何を学習するかを検討する。 コピー動作などの特性は、トレーニングプロセスの早い段階で学習され、これらの観察はドメイン間で堅牢であることがわかった。 一方, 隠蔽事実の幻覚などの事実誤りは後期に学習され, この行動は領域によって多様である。
  論文  参考訳（メタデータ） (2021-10-15T21:13:41Z)
• Factual Probing Is [MASK]: Learning vs. Learning to Recall [8.668111159444273]
  ペトロニなど。 予め訓練された言語モデルから世界事実をクローゼスタイルのプロンプトとして表現することで取得可能であることを実証した。 これらの事実探索技術をよりよく理解するための2つの補完的な貢献をしている。 やや意外なことに、これらの方法が使用するトレーニングデータには、基礎となる事実分布の一定の正規性が含まれている。
  論文  参考訳（メタデータ） (2021-04-12T07:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。