論文の概要: Write Facts the Way Models Read Them: Lifting the Two-Hop Curse

• arxiv url: http://arxiv.org/abs/2611.01519v3
• Date: Thu, 05 Nov 2026 11:05:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.291448
• Title: Write Facts the Way Models Read Them: Lifting the Two-Hop Curse
• Title（参考訳）: モデルを読みやすくする「Write Facts」
• Abstract要約: 微調整によって新しい事実を学習する言語モデルは、それを繰り返すことができるが、それで理にかなうことはできない。 我々は、推論がそのままで、文章が間違っていることを示す。 読解等価書法 (Legible) を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A language model that learns a new fact by fine-tuning can repeat it but cannot reason with it: taught that a person is a citizen of a new country, it still cannot say, without chain-of-thought, who the head of state of that person's country is. This two-hop curse is widely treated as a reasoning deficit, and the strongest knowledge editors answer it with synthesized reasoning data. We show that the reasoning is intact and the writing is wrong. Fine-tuning writes a new fact as an answer to be said, whereas the second hop reads the bridge ("that person's country") as an entity, from the middle layers on: patching the model's own representation of the entity into the bridge at those layers largely restores the second hop, yet after fine-tuning the bridge there is no closer to the new entity than before the edit. We therefore propose read-equivalent writing (Legible): one loss term makes the bridge phrase, at the layer where the second hop finishes reading it, match the model's own reading of the new entity, and keeps the same relation's other subjects unchanged. Phrases and targets come from the edited model itself, and no multi-hop training data is used. Across Qwen2.5, Llama-3 and Qwen3, Legible (I) composes learned facts more often than the model composes its own knowledge, on MQuAKE's two-hop-curse questions; (II) reaches 1.8-2.6x the bridge accuracy of CaKE, whose reasoning data composes no better than plain fine-tuning, and has the best average over composition, accuracy and locality against four families of writers; and (III) lifts the curse on RippleEdits, on the benchmark of Balesni et al., who named the curse, and at 14B.
• Abstract（参考訳）: 微調整によって新しい事実を学習する言語モデルは、それを繰り返すことができるが、それで理にかなうことはできない:ある人が新しい国の市民であることを教えるが、その人の国家の首長が誰であるかをチェーン・オブ・ソートなしでは、いまだに言えない。 この二本足の呪いは推論不足として広く扱われ、最も強い知識編集者が合成推論データで答える。 我々は、推論がそのままで、文章が間違っていることを示す。 ファインチューニングは、答えとして新しい事実を書いているが、第2ホップは、中間層から、ブリッジ(「その人の国」)をエンティティとして読み取る。 そこで,本論文では,第2ホップが読み終わる層において,第2ホップが読み終わる層において,第2ホップが読み終わる層において,新たなエンティティのモデル自身の読みと一致し,同じ関係の他の主題をそのまま保持する。 フェーラとターゲットは、編集されたモデル自体から来ており、マルチホップトレーニングデータを使用しない。 Qwen2.5, Llama-3, Qwen3 では、Legible (I) は、MQuAKE の 2-hop-curse の質問に対して、モデルよりも学習された事実を、MQuAKE の2-hop-curse の質問に対して、より頻繁に作成する; (II) 橋の精度が 1.8-2.6 倍に達する; (II) 推論データが通常の微調整に匹敵せず、作者の4つの家族に対して、作曲、正確性、局所性に対して最も高い平均値を持つ CaKE の橋の精度に達し、 (III) は、この呪いを名づけた Balesni et al のベンチマークで、RippleEdits の呪いを解除する。

関連論文リスト

• Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh [37.08044812250237]
  英語はすべてのモデルで他のどの言語よりも優れていると判断され、その差は最小の言語よりも大きい。 3層で閉じた形で計算した残差ストリームの言語ごとのシフトと回転であるRoShを提案する。 Llama-3Bのアラビア語は偶然からほぼ英語のレベルへと変化し、英語で正しく答えられた主張のうち5分の1は翻訳で失われている。
  論文  参考訳（メタデータ） (2026-09-28T09:08:47Z)
• Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
  言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。 ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。 本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。 答えは2つの側面から閉じてピンサーを形成する。
  論文  参考訳（メタデータ） (2026-09-09T21:01:56Z)
• Fundamental Problems With Model Editing: How Should Rational Belief Revision Work in LLMs? [61.68363765350178]
  本稿では,モデル編集問題の標準的な定式化を批判し,モデル編集研究のための形式的テストベッドを提案する。 まず,(1) 問題の定義,(2) ベンチマークの開発,(3) LLM がそもそも編集可能な信念を持っていることを前提として,モデル編集における12のオープンな問題について述べる。 次に、Wikidataに基づくモデル編集のための半合成データセットを導入し、理想化されたベイズエージェントによって与えられるラベルに対する編集を評価する。
  論文  参考訳（メタデータ） (2024-06-27T17:33:03Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
  編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。 本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
  論文  参考訳（メタデータ） (2023-05-24T06:48:41Z)
• Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
  既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-25T11:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。