論文の概要: Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition

• arxiv url: http://arxiv.org/abs/2610.15677v1
• Date: Sun, 11 Oct 2026 14:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.233956
• Title: Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition
• Title（参考訳）: ハイパーネットワークに基づく連続学習における知識相互作用--矛盾と構成
• Abstract要約: 本研究では,基本モデルからの知識,パラメータ更新,入力コンテキストの相互作用について検討する。 知識の対立の下では、モデルは文脈に優先的に従い、それらの選択は、その内容よりも知識が提示される場所に依存する。 マルチホップ推論では、モデルが3つの情報源の知識を確実に構成できないことが分かる。
• 参考スコア（独自算出の注目度）: 76.91914211842983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to adapt pretrained large language models (LLMs) to evolving data while preserving their pretrained capabilities. A central challenge is catastrophic forgetting: adaptation to new data can impair performance on previously learned knowledge. Since continual learning commonly changes model parameters, the model's predictions may draw on knowledge from the base model, the parameter update, and the input context. Understanding how these sources interact is essential: conflicts reveal whether new knowledge can override outdated knowledge, while multi-hop reasoning tests whether new knowledge can be composed with existing knowledge to support generalization. We study these interactions in a hypernetwork-based adaptation framework, where a shared network generates adapters from context, allowing a frozen base model to adapt without task-specific updates. We find that, under knowledge conflict, models preferentially follow the context, and their choices depend more on where knowledge is presented than on its content. We also show that context and adapter knowledge perturb the base model's representations along directions orthogonal to its clean hidden states, enabling us to derive steering vectors that control which source the model follows. In multi-hop reasoning, we find that models fail to reliably compose knowledge across the three sources, with the key breakdown arising from the interaction of the hypernetwork with both the base model and the context. Code and reproduction materials: https://github.com/missswiftie/Knowledge-Interaction-in-CL
• Abstract（参考訳）: 継続的な学習は、事前訓練された能力を維持しながら、事前訓練された大規模言語モデル(LLM)を進化するデータに適用することを目的としている。 新たなデータへの適応は、以前に学習した知識のパフォーマンスを損なう可能性がある。 連続学習は一般的にモデルパラメータを変更するため、モデルの予測はベースモデル、パラメータ更新、入力コンテキストから知識を引き出すことができる。 対立は、新しい知識が時代遅れの知識をオーバーライドできるかどうかを明らかにし、新しい知識が一般化をサポートするために既存の知識で構成できるかどうかをマルチホップ推論テストする。 我々はこれらのインタラクションをハイパーネットワークベースの適応フレームワークで研究し、共有ネットワークがコンテキストからアダプタを生成し、フリーズベースモデルがタスク固有の更新なしに適応できるようにする。 知識の対立の下では、モデルは文脈に優先的に従い、それらの選択は、その内容よりも知識が提示される場所に依存する。 また、コンテキストとアダプタの知識は、ベースモデルの表現を、クリーンな隠蔽状態に直交する方向に摂動させ、モデルが従うソースを制御するステアリングベクトルを導出できることを示す。 マルチホップ推論では、ベースモデルとコンテキストの両方とのハイパーネットワークの相互作用から生じる重要な分解によって、モデルが3つの情報源の知識を確実に構成できないことが分かる。 コードと再生資料:https://github.com/missswiftie/Knowledge-Interaction-in-CL

関連論文リスト

• PropMEND: Hypernetworks for Knowledge Propagation in LLMs [82.99849359892112]
  本稿では,PropMENDという,ハイパーネットワークに基づく知識伝播手法を提案する。 インジェクションされた事実に回答が明記されていないマルチホップ質問に対して,ほぼ2倍の精度で回答を提示する。 我々はまた、ハイパーネットワークの一般化を評価するために、新しいデータセットである Controlled RippleEdit も導入した。
  論文  参考訳（メタデータ） (2025-06-10T15:44:19Z)
• Mitigating Knowledge Conflicts in Language Model-Driven Question Answering [15.29366851382021]
  2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T07:33:10Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• From Learning to Meta-Learning: Reduced Training Overhead and Complexity for Communication Systems [40.427909614453526]
  機械学習手法は、データやアクティブな観察に基づいて、一定の学習手順を用いて、与えられたモデルクラスに置かれるように制約されたモデルのパラメータを適応する。 メタトレーニングによる帰納バイアスでは、トレーニングデータと/または時間の複雑さを減らして、マシンラーニングモデルのトレーニングを実行することができる。 本稿では,メタラーニングの高度導入と通信システムへの応用について述べる。
  論文  参考訳（メタデータ） (2020-01-05T12:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。