論文の概要: Understanding Information Storage and Transfer in Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2406.04236v1
• Date: Thu, 6 Jun 2024 16:35:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:59:57.805776
• Title: Understanding Information Storage and Transfer in Multi-modal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける情報保存と伝達の理解
• Authors: Samyadeep Basu, Martin Grayson, Cecily Morrison, Besmira Nushi, Soheil Feizi, Daniela Massiceti,
• Abstract要約: 本研究では,マルチモーダル大規模言語モデルを用いて,現実的な視覚的質問応答タスクにおいて情報処理を行う方法について検討する。 鍵となる発見は、これらのMLLMが情報記憶のためにずっと古いレイヤの自己注意ブロックに依存していることを示している。 モデル編集アルゴリズムであるMultEditを導入し、誤りを訂正し、MLLMに新しいロングテール情報を挿入する。
• 参考スコア（独自算出の注目度）: 51.20840103605018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the mechanisms of information storage and transfer in Transformer-based models is important for driving model understanding progress. Recent work has studied these mechanisms for Large Language Models (LLMs), revealing insights on how information is stored in a model's parameters and how information flows to and from these parameters in response to specific prompts. However, these studies have not yet been extended to Multi-modal Large Language Models (MLLMs). Given their expanding capabilities and real-world use, we start by studying one aspect of these models -- how MLLMs process information in a factual visual question answering task. We use a constraint-based formulation which views a visual question as having a set of visual or textual constraints that the model's generated answer must satisfy to be correct (e.g. What movie directed by the director in this photo has won a Golden Globe?). Under this setting, we contribute i) a method that extends causal information tracing from pure language to the multi-modal setting, and ii) VQA-Constraints, a test-bed of 9.7K visual questions annotated with constraints. We use these tools to study two open-source MLLMs, LLaVa and multi-modal Phi-2. Our key findings show that these MLLMs rely on MLP and self-attention blocks in much earlier layers for information storage, compared to LLMs whose mid-layer MLPs are more important. We also show that a consistent small subset of visual tokens output by the vision encoder are responsible for transferring information from the image to these causal blocks. We validate these mechanisms by introducing MultEdit, a model-editing algorithm that can correct errors and insert new long-tailed information into MLLMs by targeting these causal blocks.
• Abstract（参考訳）: トランスフォーマーモデルにおける情報記憶と転送のメカニズムを理解することは、モデル理解の進展を駆動する上で重要である。 最近の研究は、Large Language Models (LLMs) のこれらのメカニズムを研究し、モデルのパラメータに情報がどのように格納されているか、特定のプロンプトに応答してパラメータから情報がどのように流れているか、といった知見を明らかにしている。 しかし、これらの研究はまだMLLM(Multi-modal Large Language Models)に拡張されていない。 拡張能力と実世界の利用を考えると、まずこれらのモデルの1つの側面 - MLLMが実際の視覚的質問応答タスクで情報をどのように処理するか - を研究することから始めます。 我々は、視覚的質問を、モデルが生成した回答が正しいことを満たさなければならない視覚的あるいはテキスト的制約のセットであると見なす制約ベースの定式化を使用する(例えば、この写真のディレクターが監督する映画がゴールデングローブを獲得したか?)。 この設定で、私たちは貢献します 一 純粋言語からマルチモーダル設定への因果情報追跡を拡張する方法 ii) VQA-Constraintsは、制約を付した9.7Kの視覚的質問のテストベッドである。 これらのツールを用いて、2つのオープンソースのMLLM、LLaVaとマルチモーダルPhi-2を研究する。 これらのMLLMは,中層MLPがより重要となるLPMと比較して,情報記憶においてずっと早い段階でMLPや自己保持ブロックに依存していることを示す。 また、視覚エンコーダが出力する視覚トークンの一貫したサブセットが、画像からこれらの因果ブロックに情報を転送する役割を担っていることを示す。 モデル編集アルゴリズムであるMultEditを導入し、これらの因果ブロックをターゲットとして、誤りを訂正し、新しい長尾情報をMLLMに挿入することで、これらのメカニズムを検証する。

関連論文リスト

• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering [108.2131720470005]
  大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 彼らはしばしば、入力コンテキストを完全に理解し、効果的に利用するのに苦労し、不信または幻覚的な反応をもたらす。 本稿では,重要な文脈情報を自動的に識別し,LLMの注意点を制御して強調する手法であるAutoPASTAを提案する。
  論文  参考訳（メタデータ） (2024-09-16T23:52:41Z)
• Piculet: Specialized Models-Guided Hallucination Decrease for MultiModal Large Language Models [5.5712075816599]
  MLLM(Multimodal Large Language Models)は、視覚と言語の間のギャップを埋める上で大きな進歩を遂げた。 しかし、生成したテキストが画像の内容と一致しないMLLMの幻覚は、引き続き大きな課題である。 MLLMの入力表現を強化するために,Piculetという新しいトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-08-02T04:34:37Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。 LLMは分子予測タスクを効果的に扱えるのか? 6つの標準分子データセットの分類および回帰予測タスクを同定する。 テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
  論文  参考訳（メタデータ） (2024-03-08T05:59:56Z)
• The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
  MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。 MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。 本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。