論文の概要: Towards Understanding How Knowledge Evolves in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2504.02862v2
• Date: Mon, 07 Apr 2025 11:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:07:02.546932
• Title: Towards Understanding How Knowledge Evolves in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおける知識の展開
• Authors: Sudong Wang, Yunjian Zhang, Yao Zhu, Jianing Li, Zizhe Wang, Yanwei Liu, Xiangyang Ji,
• Abstract要約: 我々はマルチモーダル知識がどのように進化し、最終的にLVLM(Large Vision-Language Models)において自然言語を誘導するかを考察する。 知識進化における2つの重要なノードを同定する: 臨界層と突然変異層、進化過程を3段階に分割する: 急速な進化、安定化、突然変異。 我々の研究は、LVLMにおける知識進化の軌跡を初めて明らかにし、その基盤となるメカニズムを理解するための新たな視点を提供する。
• 参考スコア（独自算出の注目度）: 55.82918299608732
• License:
• Abstract: Large Vision-Language Models (LVLMs) are gradually becoming the foundation for many artificial intelligence applications. However, understanding their internal working mechanisms has continued to puzzle researchers, which in turn limits the further enhancement of their capabilities. In this paper, we seek to investigate how multimodal knowledge evolves and eventually induces natural languages in LVLMs. We design a series of novel strategies for analyzing internal knowledge within LVLMs, and delve into the evolution of multimodal knowledge from three levels, including single token probabilities, token probability distributions, and feature encodings. In this process, we identify two key nodes in knowledge evolution: the critical layers and the mutation layers, dividing the evolution process into three stages: rapid evolution, stabilization, and mutation. Our research is the first to reveal the trajectory of knowledge evolution in LVLMs, providing a fresh perspective for understanding their underlying mechanisms. Our codes are available at https://github.com/XIAO4579/Vlm-interpretability.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は多くの人工知能アプリケーションの基礎となっている。 しかし、内部の動作メカニズムを理解することは研究者を困惑させ続けており、それによって能力のさらなる増強が制限されている。 本稿では,LVLMにおけるマルチモーダル知識がどのように進化し,最終的には自然言語を誘導するかを検討する。 我々は、LVLMの内部知識を分析するための新しい戦略を設計し、単一トークン確率、トークン確率分布、特徴符号化を含む3つのレベルからマルチモーダル知識の進化を探求する。 このプロセスでは、臨界層と突然変異層という、知識進化における2つの重要なノードを同定し、進化過程を3つの段階、すなわち、急速な進化、安定化、突然変異に分割する。 我々の研究は、LVLMにおける知識進化の軌跡を初めて明らかにし、その基盤となるメカニズムを理解するための新たな視点を提供する。 私たちのコードはhttps://github.com/XIAO4579/Vlm-prepretabilityで利用可能です。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• EvoWiki: Evaluating LLMs on Evolving Knowledge [72.92365627254063]
  EvoWiki(エボウィキ)は、知識の進化を反映した進化的データセットである。 我々の結果は、現在のモデルは進化した知識に苦しむことが多く、時代遅れや誤った反応を頻繁に与えていることを示している。 EvoWikiは、大規模言語モデルの知識進化能力に関する将来の研究を進めるための堅牢なベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-12-18T08:04:57Z)
• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• When Large Language Models Meet Evolutionary Algorithms: Potential Enhancements and Challenges [50.280704114978384]
  事前訓練された大規模言語モデル(LLM)は、自然なテキストを生成する強力な能力を示す。 進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
  論文  参考訳（メタデータ） (2024-01-19T05:58:30Z)
• Embodied Intelligence via Learning and Evolution [92.26791530545479]
  環境の複雑さが形態学的知能の進化を促進することを示す。 また、進化は速く学習する形態を素早く選択することを示した。 我々の実験は、ボールドウィン効果とモルフォロジーインテリジェンスの発生の両方の力学的基礎を示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。