論文の概要: KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Augmentations and Constraints

• arxiv url: http://arxiv.org/abs/2510.19316v1
• Date: Wed, 22 Oct 2025 07:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.241453
• Title: KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Augmentations and Constraints
• Title（参考訳）: KORE:知識指向の強化と制約による大規模マルチモーダルモデルの知識注入の強化
• Authors: Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li,
• Abstract要約: 大規模マルチモーダルモデルは、事前訓練された重量における広範な事実知識を符号化する。 既存の方法は、しばしば新しい知識を学ぶのに苦労し、破滅的な忘れに苦しむ。 古い知識を保ちながら,大規模なマルチモーダルモデルに新たな知識を注入する方法である KORE を提案する。
• 参考スコア（独自算出の注目度）: 29.0623696841584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Multimodal Models encode extensive factual knowledge in their pre-trained weights. However, its knowledge remains static and limited, unable to keep pace with real-world developments, which hinders continuous knowledge acquisition. Effective knowledge injection thus becomes critical, involving two goals: knowledge adaptation (injecting new knowledge) and knowledge retention (preserving old knowledge). Existing methods often struggle to learn new knowledge and suffer from catastrophic forgetting. To address this, we propose KORE, a synergistic method of KnOwledge-oRientEd augmentations and constraints for injecting new knowledge into large multimodal models while preserving old knowledge. Unlike general text or image data augmentation, KORE automatically converts individual knowledge items into structured and comprehensive knowledge to ensure that the model accurately learns new knowledge, enabling accurate adaptation. Meanwhile, KORE stores previous knowledge in the covariance matrix of LMM's linear layer activations and initializes the adapter by projecting the original weights into the matrix's null space, defining a fine-tuning direction that minimizes interference with previous knowledge, enabling powerful retention. Extensive experiments on various LMMs, including LLaVA-v1.5-7B, LLaVA-v1.5-13B, and Qwen2.5-VL-7B, show that KORE achieves superior new knowledge injection performance and effectively mitigates catastrophic forgetting.
• Abstract（参考訳）: 大規模マルチモーダルモデルは、事前訓練された重量における広範な事実知識を符号化する。 しかし、その知識は静かで限られたままであり、現実世界の発展に追随できないため、継続的な知識獲得を妨げている。 したがって、効果的な知識注入は、知識適応(新しい知識を注入)と知識保持(古い知識を保存する)の2つの目標を含む、重要なものとなる。 既存の方法は、しばしば新しい知識を学ぶのに苦労し、破滅的な忘れに苦しむ。 そこで我々は,KnOwledge-oRientEd拡張の相乗的手法である KORE を提案する。 一般的なテキストや画像データの拡張とは異なり、KOREは個々の知識項目を自動的に構造化された総合的な知識に変換し、モデルが新しい知識を正確に学習し、正確な適応を可能にする。 一方、KOREはLMMの線形層活性化の共分散行列に前の知識を格納し、元の重みを行列のヌル空間に投影することでアダプタを初期化する。 LLaVA-v1.5-7B、LLaVA-v1.5-13B、Qwen2.5-VL-7Bなどの多種多様なLMM実験により、KOREは優れた知識注入性能を示し、破滅的な忘れを効果的に軽減することを示した。

関連論文リスト

• When Large Multimodal Models Confront Evolving Knowledge:Challenges and Pathways [33.07000185684693]
  大規模言語/マルチモーダルモデル(LLMs/LMMs)は、事前訓練された知識を蓄積するが、実際の更新との整合性を維持するのに苦労する。 実世界のシナリオにおいてマルチモーダル進化的知識を注入するLMMの能力を評価するためのEVOKEベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T10:36:19Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。