論文の概要: $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

• arxiv url: http://arxiv.org/abs/2505.01812v2
• Date: Sat, 27 Sep 2025 21:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.29257
• Title: $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge
• Title（参考訳）: $\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge
• Authors: Core Francisco Park, Zechen Zhang, Hidenori Tanaka,
• Abstract要約: 我々は,複数のドメインにまたがる仮説的かつ妥当なニュースからなるデータセットであるNew Newsを紹介する。 我々は,モデルによって処理された知識を,コンテキストでモデルの重みに抽出するために設計された,セルフプレイデータ生成プロトコルのスイートを探索する。 以上の結果から,Sys2-FTの自己QAプロトコルは,汎用性を保ちながら,モデルによるニュースの重み付け学習を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 23.13677164250208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans and intelligent animals can internalize new information and accurately internalize their implications to perform downstream tasks. While large language models (LLMs) can achieve this through in-context learning (ICL) when the information (news) is explicitly given as context, adequately integrating the information into model weights via fine-tuning remains challenging. In this paper, we introduce New News, a dataset composed of hypothetical yet plausible news spanning multiple domains (mathematics, coding, discoveries, leaderboards, events), accompanied by downstream evaluation questions whose correct answers critically depend on understanding and internalizing the news. First, we demonstrate a substantial gap between naive fine-tuning and in-context learning (FT-ICL gap) on our dataset. To address this gap, we explore a suite of self-play data generation protocols -- paraphrases, implications, and Self-QA -- designed to distill the knowledge processed by the model with context into the weights of the model, which we term System-2 Fine-tuning (Sys2-FT). We systematically evaluate ICL and Sys2-FT performance across data domains and model scales with the Qwen 2.5 family of models. Our results demonstrate that the Self-QA protocol of Sys2-FT significantly improves models' in-weight learning of the news while preserving general capabilities. Furthermore, we discover the contextual shadowing effect, where training with the news in context followed by its rephrases or QAs catastrophically degrades learning of the news. Finally, we show preliminary evidence of an emerging scaling law of Sys2-FT.
• Abstract（参考訳）: 人間や知的な動物は、新しい情報を内部化し、下流のタスクを実行するためにその意味を正確に内部化することができる。 大規模言語モデル(LLM)は、情報(ニュース)がコンテキストとして明示的に与えられる場合、文脈内学習(ICL)によってこれを達成できるが、微調整によるモデルの重み付けに適切に統合することは依然として困難である。 本稿では,複数のドメイン(数学,コーディング,発見,リーダボード,イベント)にまたがる仮説的かつ実証可能なニュースからなるデータセットであるNew Newsを紹介する。 まず,本研究のデータセット上で,直感的な微調整とテキスト内学習(FT-ICLギャップ)の間には,かなりのギャップがあることを示す。 このギャップに対処するために、私たちは、モデルによって処理された知識をコンテキストでモデルの重みに抽出するために設計された、セルフプレイデータ生成プロトコル(パラフレーズ、含意、自己QA)のスイートを探索し、システム-2ファインチューニング(Sys2-FT)と呼ぶ。 我々は、Qwen 2.5 モデル群を用いて、データ領域とモデルスケールにわたる ICL と Sys2-FT の性能を体系的に評価した。 以上の結果から,Sys2-FTの自己QAプロトコルは,汎用性を保ちながら,モデルによるニュースの重み付け学習を大幅に改善することが示された。 さらに、文脈的シャドーイング効果を見いだし、文脈的ニュースによるトレーニングとそれに続く言い換えやQAが、そのニュースの学習を壊滅的に劣化させる。 最後に,Sys2-FTのスケーリング法則の予備的証拠を示す。

関連論文リスト

• A Python Tool for Reconstructing Full News Text from GDELT [0.0]
  本稿では,新聞記事の全文をほぼゼロのコストで入手するための新しいアプローチを提案する。 我々は,グローバルオンラインニュースソースから抽出したn-gramの高頻度更新を提供するGDELT Web News NGrams 3.0データセットに注目した。 重なり合うテキストフラグメントを識別し、インテリジェントにマージすることで、これらのn-gramからフルテキストの記事を再構築するPythonコードを提供します。
  論文  参考訳（メタデータ） (2025-04-22T17:40:42Z)
• How new data permeates LLM knowledge and how to dilute it [19.96863816288517]
  大規模言語モデルは、勾配ベースの更新の蓄積を通じて学び、継続的に学習する。 新たな事実を学習することで、モデルは無関係な文脈でその知識を不適切に適用することができる。 学習前のキーワードのトークン確率を計測することにより,新しい情報学習後のプライミングの度合いを予測することができることを示す。
  論文  参考訳（メタデータ） (2025-04-13T11:25:04Z)
• NewsEdits 2.0: Learning the Intentions Behind Updating News [74.84017890548259]
  イベントが進むにつれて、ニュース記事は新しい情報で更新されることが多い。 本研究では,言語的特徴が事実流動性を示すことを仮定し,ニュース記事のテキストのみを用いて,どの事実が更新されるかを予測する。
  論文  参考訳（メタデータ） (2024-11-27T23:35:23Z)
• Great Memory, Shallow Reasoning: Limits of $k$NN-LMs [71.73611113995143]
  検索とnext-word予測を統合した$k$NN-LMsは、言語モデリングにおいて強力な性能を示している。 この改良された情報リコール能力が、本当に下流の能力に変換されるかどうかを問う。
  論文  参考訳（メタデータ） (2024-08-21T17:59:05Z)
• Detect, Investigate, Judge and Determine: A Knowledge-guided Framework for Few-shot Fake News Detection [50.079690200471454]
  Few-Shot Fake News Detection (FS-FND) は、極めて低リソースのシナリオにおいて、非正確なニュースを実際のニュースと区別することを目的としている。 ソーシャルメディア上でのフェイクニュースの拡散や有害な影響により、このタスクは注目を集めている。 本稿では,内外からLLMを増強するDual-perspective Knowledge-Guided Fake News Detection (DKFND)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-12T03:15:01Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。