論文の概要: When Large Multimodal Models Confront Evolving Knowledge:Challenges and Pathways
- arxiv url: http://arxiv.org/abs/2505.24449v1
- Date: Fri, 30 May 2025 10:36:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.906963
- Title: When Large Multimodal Models Confront Evolving Knowledge:Challenges and Pathways
- Title（参考訳）: 知識を包含する大規模マルチモーダルモデル:変化と経路
- Authors: Kailin Jiang, Yuntao Du, Yukai Ding, Yuchen Ren, Ning Jiang, Zhi Gao, Zilong Zheng, Lei Liu, Bin Li, Qing Li,
- Abstract要約: 大規模言語/マルチモーダルモデル(LLMs/LMMs)は、事前訓練された知識を蓄積するが、実際の更新との整合性を維持するのに苦労する。
実世界のシナリオにおいてマルチモーダル進化的知識を注入するLMMの能力を評価するためのEVOKEベンチマークを提案する。
- 参考スコア（独自算出の注目度）: 33.07000185684693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language/multimodal models (LLMs/LMMs) store extensive pre-trained knowledge but struggle to maintain consistency with real-world updates, making it difficult to avoid catastrophic forgetting while acquiring evolving knowledge. Previous work focused on constructing textual knowledge datasets and exploring knowledge injection in LLMs, lacking exploration of multimodal evolving knowledge injection in LMMs. To address this, we propose the EVOKE benchmark to evaluate LMMs' ability to inject multimodal evolving knowledge in real-world scenarios. Meanwhile, a comprehensive evaluation of multimodal evolving knowledge injection revealed two challenges: (1) Existing knowledge injection methods perform terribly on evolving knowledge. (2) Supervised fine-tuning causes catastrophic forgetting, particularly instruction following ability is severely compromised. Additionally, we provide pathways and find that: (1) Text knowledge augmentation during the training phase improves performance, while image augmentation cannot achieve it. (2) Continual learning methods, especially Replay and MoELoRA, effectively mitigate forgetting. Our findings indicate that current knowledge injection methods have many limitations on evolving knowledge, which motivates further research on more efficient and stable knowledge injection methods.
- Abstract（参考訳）: 大規模言語/マルチモーダルモデル(LLMs/LMMs)は、事前訓練された知識を蓄積するが、実際の更新との整合性を維持するのに苦労しているため、進化する知識を習得しながら破滅的な忘れを避けることは困難である。
従来の研究は、LLMにおけるテキスト知識データセットの構築と知識注入の探索に重点を置いており、LMMにおけるマルチモーダル進化的知識注入の探索に欠けていた。
そこで本研究では,LMMのマルチモーダル進化的知識を実世界のシナリオで注入する能力を評価するEVOKEベンチマークを提案する。
一方,既存知識注入法は,既存の知識注入法が進化的知識に大きく貢献する,という2つの課題が明らかにされた。
2) 微調整の監督は, 破滅的な忘れを招き, 特に指導能力は著しく損なわれている。
1) 学習段階におけるテキスト知識の増強は、画像の増強が達成できないのに対して、性能を向上させる。
2) 継続的な学習方法,特にReplayとMoELoRAは,忘れを効果的に緩和する。
以上の結果から,現在の知識注入法は知識の進化に多くの制約があり,より効率的で安定した知識注入法の研究が動機であることが示唆された。
関連論文リスト
- Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
検索強化世代(RAG)は知識範囲の拡大に広く利用されている。
RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。
本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
論文 参考訳（メタデータ） (2025-05-17T13:13:13Z) - Memorizing is Not Enough: Deep Knowledge Injection Through Reasoning [60.01714908976762]
本稿では,知識注入のレベルである記憶,検索,推論,関連性を定義した4段階の知識注入フレームワークを提案する。
次に、様々な知識注入シナリオを調査し、ベンチマーク上の各シナリオに対する知識注入の深さを評価する。
論文 参考訳（メタデータ） (2025-04-01T06:59:59Z) - How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。
知識記憶と処理を容易にする計算サブグラフを同定する。
論文 参考訳（メタデータ） (2025-02-16T16:55:43Z) - Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models [1.753683416932648]
大規模言語モデル(LLM)は、様々な領域における事実知識の収集に長けている。
本研究では,Skiと呼ばれる新しい合成知識摂取法を提案する。
次に、Skiとそのバリエーションを3つの知識注入技術と統合し、言語モデルにおける知識を注入し、洗練する。
論文 参考訳（メタデータ） (2024-10-12T19:38:09Z) - InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。
本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。
新しい知識を導入するリスクは、既存の知識を忘れることである。
論文 参考訳（メタデータ） (2024-02-18T03:36:26Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。
KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
論文 参考訳（メタデータ） (2024-02-17T02:54:32Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (2023-10-11T08:22:37Z) - KnowRU: Knowledge Reusing via Knowledge Distillation in Multi-agent
Reinforcement Learning [16.167201058368303]
深層強化学習(RL)アルゴリズムはマルチエージェント領域において劇的に進歩している。
この問題を解決するには、歴史的経験の効率的な活用が不可欠です。
知識再利用のための「KnowRU」という手法を提案する。
論文 参考訳（メタデータ） (2021-03-27T12:38:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。