論文の概要: Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2503.02597v1
• Date: Tue, 04 Mar 2025 13:18:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:23:57.091583
• Title: Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs
• Title（参考訳）: Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs
• Authors: Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi,
• Abstract要約: AKIは、画像トークンがテキストトークンに参加することを可能にするために、因果的注意をMMA(Modality-mutual attention)に開放する新しいMLLMである。 我々のMMA設計は汎用的であり、様々なモダリティにまたがるアプリケーションを可能にし、多様なマルチモーダルシナリオに対応できるようにスケーラブルである。
• 参考スコア（独自算出の注目度）: 7.03771340666549
• License:
• Abstract: Recent Multimodal Large Language Models (MLLMs) have demonstrated significant progress in perceiving and reasoning over multimodal inquiries, ushering in a new research era for foundation models. However, vision-language misalignment in MLLMs has emerged as a critical challenge, where the textual responses generated by these models are not factually aligned with the given text-image inputs. Existing efforts to address vision-language misalignment have focused on developing specialized vision-language connectors or leveraging visual instruction tuning from diverse domains. In this paper, we tackle this issue from a fundamental yet unexplored perspective by revisiting the core architecture of MLLMs. Most MLLMs are typically built on decoder-only LLMs consisting of a causal attention mechanism, which limits the ability of earlier modalities (e.g., images) to incorporate information from later modalities (e.g., text). To address this problem, we propose AKI, a novel MLLM that unlocks causal attention into modality-mutual attention (MMA) to enable image tokens to attend to text tokens. This simple yet effective design allows AKI to achieve superior performance in 12 multimodal understanding benchmarks (+7.2% on average) without introducing additional parameters and increasing training time. Our MMA design is intended to be generic, allowing for application across various modalities, and scalable to accommodate diverse multimodal scenarios. The code is publicly available at https://github.com/sony/aki, and we will release our AKI-4B model to encourage further advancements in MLLMs across various directions.
• Abstract（参考訳）: 近年,MLLM (Multimodal Large Language Models) は,基礎モデルの新たな研究時代を背景として,多モーダル質問に対する知覚と推論に大きな進歩を見せている。 しかし、MLLMにおける視覚言語の不適応は、これらのモデルによって生成されたテキスト応答が、与えられたテキストイメージ入力と現実的に一致しない、重要な課題として現れている。 視覚言語不整合に対処するための既存の取り組みは、視覚言語コネクタの開発や、様々な領域からの視覚的命令チューニングの活用に重点を置いている。 本稿では,MLLM のコアアーキテクチャを再考することによって,基本的かつ未検討の視点からこの問題に取り組む。 ほとんどのMLLMは、典型的にはデコーダのみのLCM上に構築されており、因果的アテンション機構により、初期のモダリティ(例:画像)が後のモダリティ(例:テキスト)からの情報を取り込む能力を制限する。 この問題に対処するために、画像トークンがテキストトークンに出席できるように、因果的注意をMMA(Modality-mutual attention)に開放する新しいMLLMであるAKIを提案する。 このシンプルで効果的な設計により、AKIは12のマルチモーダル理解ベンチマーク(平均で7.2%)において、追加のパラメータを導入せず、トレーニング時間を増やすことなく優れたパフォーマンスを達成することができる。 我々のMMA設計は汎用的であり、様々なモダリティにまたがるアプリケーションを可能にし、多様なマルチモーダルシナリオに対応できるようにスケーラブルである。 コードはhttps://github.com/sony/akiで公開されており、さまざまな方向にMLLMのさらなる進歩を促進するためにAKI-4Bモデルをリリースします。

関連論文リスト

• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [69.35226485836641]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Enhancing Instruction-Following Capability of Visual-Language Models by Reducing Image Redundancy [37.471419716572086]
  LLM(Large Language Model)とMLLM(Multimodal Large Language Model)の命令追従能力には大きなギャップがある。 本稿では,このギャップを軽減するために,VMTC(Visual-Modality Token Compression)とCMAI(Cross-Modality Attention Inhibition)戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-23T05:03:32Z)
• PUMA: Empowering Unified MLLM with Multi-granular Visual Generation [62.747751204215916]
  統一MLLMと多言語視覚生成を併用したPUMAを提案する。 PUMAはMLLMの入力と出力の両方としてマルチグラニュラ視覚特徴を統一する。 この研究は、様々な視覚的タスクの粒度要求に適応できる真に統一されたMLLMに向けた重要なステップである。
  論文  参考訳（メタデータ） (2024-10-17T17:59:57Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.41055673919895]
  本研究では,視覚エンコーダと解像度の混合を用いたMLLMの設計空間について検討する。 視覚トークンを補完的な視覚エンコーダの集合から簡単に結合することは、より複雑な混合アーキテクチャや戦略と同じくらい効果的であることがわかった。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• AIM: Let Any Multi-modal Large Language Models Embrace Efficient In-Context Learning [15.770849688170477]
  インコンテキスト学習(ICL)は、数十億のパラメータを更新することなく、下流タスクに創発的な能力を示す大規模言語モデルを容易にする。 ほとんどのMLLMはシングルイメージのデータセットでのみトレーニングされているため、マルチモーダルなデモンストレーションは読めない。 textbfAggregating textbf Image information of textbfMultimodal demonstrations to the dense latent space of the corresponding language part。
  論文  参考訳（メタデータ） (2024-06-11T08:12:43Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。