Fugu-MT 論文翻訳(概要): Self-Consolidating Language Models: Continual Knowledge Incorporation from Context

論文の概要: Self-Consolidating Language Models: Continual Knowledge Incorporation from Context

arxiv url: http://arxiv.org/abs/2605.07076v2
Date: Tue, 12 May 2026 15:47:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-13 18:21:06.823429
Title: Self-Consolidating Language Models: Continual Knowledge Incorporation from Context
Title（参考訳）: 自己統合型言語モデル:コンテキストからの継続的な知識の取り込み
Authors: Zekun Wang, Anant Gupta, Zihan Dong, Christopher J. MacLellan,
Abstract要約: 大規模言語モデル(LLM)は、パス、会話、長いコンテキストのストリームとして情報を受け取るようになっている。本研究では,従来の統合情報との干渉を抑えつつ,現在のコンテキストをモデル重みに書き込む連続的コンテキスト統合について検討する。 textbfSelf-textbf Consolidating textbfLanguage Models (SCoL) は、LLMがテキスト更新命令を生成することを学習する後トレーニングフレームワークである。
参考スコア（独自算出の注目度）: 5.0834716824529105
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) increasingly receive information as streams of passages, conversations, and long-context workflows. While longer context windows expose more evidence, they do not ensure that useful information is preserved and reused. We study continual context consolidation: writing current context into model weights while limiting interference with previously consolidated information. We propose \textbf{S}elf-\textbf{Co}nsolidating \textbf{L}anguage Models (SCoL), a post-training framework in which, given current context, an LLM learns to generate textual update instructions specifying which of its own Transformer layers should be updated. Because committed updates change the model that later generates future selections, we train SCoL with meta-reinforcement learning over an evolving model state. We instantiate SCoL with supervised QA rewards on SQuAD knowledge incorporation and intrinsic likelihood-based rewards for LongBench v2 long-context consolidation. Across both settings, SCoL improves acquisition and retention over prompting, summarization, batch test-time training, and sequential finetuning baselines. Analysis of learned selection patterns shows that SCoL encourages the LLM to generate sparse update locations that align with layers of high Fisher information, suggesting that the model learns to route plasticity toward loss-sensitive regions while limiting interference. Moreover, SCoL transfers from shorter meta-training streams to longer LongBench v2 streams at evaluation, suggesting that our framework supports scalable streaming consolidation.
Abstract（参考訳）: 大きな言語モデル(LLM)は、パス、会話、長いコンテキストワークフローのストリームとして情報を受け取るようになっている。より長いコンテキストウィンドウは、より多くの証拠を公開するが、有用な情報が保存され再利用されることは保証しない。本研究では,従来の統合情報との干渉を抑えつつ,現在のコンテキストをモデル重みに書き込む連続的コンテキスト統合について検討する。 LLMは、現在の状況に応じて、それぞれのトランスフォーマー層を更新すべきかを指定したテキスト更新命令を生成することを学習する後トレーニングフレームワークである。コミット更新は、将来の選択を生成するモデルを変更するため、進化するモデル状態に対してメタ強化学習でSCoLを訓練する。我々は、LongBench v2の長文統合のためのSQuAD知識の導入と本質的な可能性に基づく報酬について、教師付きQA報酬でSCoLをインスタンス化する。どちらの設定でも、SCoLはプロンプト、要約、バッチテストタイムトレーニング、シーケンシャルな微調整ベースラインよりも、取得と保持を改善している。学習した選択パターンの分析から、SCoLは、高いフィッシャー情報の層と一致したスパース更新位置を生成することをLLMに奨励し、干渉を制限するとともに、可塑性を損失に敏感な領域にルートすることを学ぶことを示唆している。さらに、SCoLは、短いメタトレーニングストリームから長いLongBench v2ストリームへ、評価時に転送するので、我々のフレームワークがスケーラブルなストリーミング統合をサポートすることを示唆している。

関連論文リスト

Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams [78.9560820155271]
我々は、ストリーミングよりもオンライン適応を評価し、知識を継続的に更新する。 OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成される。最先端モデルとエージェントメモリシステムはどちらもOAKSにしっかりと適応できない。
論文参考訳（メタデータ） (2026-03-08T00:38:39Z)
RePo: Language Models with Context Re-Positioning [10.269249887819988]
In-context Learning is fundamental to modern Large Language Models (LLMs) 一般的なアーキテクチャは、線形または定位置の指標を割り当てることで、厳密で固定された文脈構造を課します。本稿では,コンテキスト再配置による余剰負荷を低減する機構であるRePoを提案する。
論文参考訳（メタデータ） (2025-12-16T13:30:30Z)
TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。共同推論と動的KG精製を大きな言語モデルと組み合わせる。複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文参考訳（メタデータ） (2025-08-06T14:25:05Z)
Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
論文参考訳（メタデータ） (2025-06-11T02:08:52Z)
Scalable In-Context Q-Learning [68.9917436397079]
textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。 textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
論文参考訳（メタデータ） (2025-06-02T04:21:56Z)
Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
論文参考訳（メタデータ） (2024-12-18T04:08:18Z)
Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文参考訳（メタデータ） (2024-03-26T06:57:23Z)
Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey [18.930417261395906]
トランスフォーマーベースの大規模言語モデル(LLM)は、知識ベース、ヒューマンインタフェース、動的エージェントなど様々な分野に適用されている。本稿では,トランスフォーマーをベースとしたLLMアーキテクチャの最近の進歩について,LLMの長期的コンテキスト能力の向上を目的とした調査を行う。
論文参考訳（メタデータ） (2023-11-21T04:59:17Z)
Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。