論文の概要: IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities

• arxiv url: http://arxiv.org/abs/2408.12902v1
• Date: Fri, 23 Aug 2024 08:10:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:40:04.918696
• Title: IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities
• Title（参考訳）: IAA: 内部アダプタアーキテクチャは、マルチモーダル機能を備えた凍結した大規模言語モデルを実現する
• Authors: Bin Wang, Chunyu Xie, Dawei Leng, Yuhui Yin,
• Abstract要約: マルチモーダル大言語モデル(MLLM)のための内適応アーキテクチャを導入する。 このアーキテクチャは、大きな言語モデル内の様々な深さで複数のマルチモーダルアダプタを組み込んで、テキスト指向のトランスフォーマー層との直接の相互作用を容易にする。 大規模な整列データを必要とする従来のフリーズ言語モデルとは異なり、提案アーキテクチャは小規模データセットにおいて優れた性能を実現することができる。
• 参考スコア（独自算出の注目度）: 4.269326314400742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of multimodal large language models (MLLMs), common methods typically involve unfreezing the language model during training to foster profound visual understanding. However, the fine-tuning of such models with vision-language data often leads to a diminution of their natural language processing (NLP) capabilities. To avoid this performance degradation, a straightforward solution is to freeze the language model while developing multimodal competencies. Unfortunately, previous works have not attained satisfactory outcomes. Building on the strategy of freezing the language model, we conduct thorough structural exploration and introduce the Inner-Adaptor Architecture (IAA). Specifically, the architecture incorporates multiple multimodal adaptors at varying depths within the large language model to facilitate direct interaction with the inherently text-oriented transformer layers, thereby enabling the frozen language model to acquire multimodal capabilities. Unlike previous approaches of freezing language models that require large-scale aligned data, our proposed architecture is able to achieve superior performance on small-scale datasets. We conduct extensive experiments to improve the general multimodal capabilities and visual grounding abilities of the MLLM. Our approach remarkably outperforms previous state-of-the-art methods across various vision-language benchmarks without sacrificing performance on NLP tasks. Code and models are available at https://github.com/360CVGroup/Inner-Adaptor-Architecture.
• Abstract（参考訳）: MLLM(Multimodal large language model)の分野では、訓練中に言語モデルを凍結させ、深い視覚的理解を促進するのが一般的である。 しかし、このようなモデルを視覚言語データで微調整することで、自然言語処理(NLP)能力の縮小につながることが多い。 この性能劣化を避けるため、言語モデルを凍結し、マルチモーダルな能力を開発するという簡単な解決策がある。 残念ながら、以前の作品では満足のいく成果が得られていない。 言語モデルを凍結する戦略に基づいて、徹底的な構造探索を行い、内適応アーキテクチャ(IAA)を導入する。 具体的には、大きな言語モデル内の様々な深さで複数のマルチモーダルアダプタを組み込んで、本質的にテキスト指向のトランスフォーマー層との直接の相互作用を容易にし、凍結した言語モデルがマルチモーダル機能を獲得できるようにする。 大規模な整列データを必要とする従来のフリーズ言語モデルとは異なり、提案アーキテクチャは小規模データセットにおいて優れた性能を実現することができる。 我々はMLLMの汎用マルチモーダル能力と視覚的接地能力を改善するために広範囲な実験を行った。 提案手法は,NLPタスクの性能を犠牲にすることなく,様々な視覚言語ベンチマークにおいて,従来の最先端手法よりも優れていた。 コードとモデルはhttps://github.com/360CVGroup/Inner-Adaptor-Architecture.comで公開されている。

関連論文リスト

• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• From Unimodal to Multimodal: Scaling up Projectors to Align Modalities [16.733970553781887]
  そこで本研究では,事前学習した凍結アンモダルエンコーダ上の投影層のみを用いて,視覚と言語モダリティを整合させる手法を提案する。 本手法は,よく訓練された視覚の埋め込み空間と言語モデルとのセマンティックな類似性を利用した。 これには、潜在空間における意味的に類似したエンコーダの選択、イメージキャプチャペアの概念豊富なデータセットのキュレーション、シンプルなプロジェクタのトレーニングが含まれる。
  論文  参考訳（メタデータ） (2024-09-28T17:57:32Z)
• Understanding the role of FFNs in driving multilingual behaviour in LLMs [0.0]
  本稿では,大規模言語モデル群における多言語機能の詳細な分析を行う。 異なるレイヤにおけるモデルの多言語的振る舞いを探索する新しいメトリクスを導入し、多言語処理におけるアーキテクチャ選択の影響について光を当てる。
  論文  参考訳（メタデータ） (2024-04-22T03:47:00Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• On the Universality of Deep COntextual Language Models [15.218264849664715]
  ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。 XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。 この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
  論文  参考訳（メタデータ） (2021-09-15T08:00:33Z)
• Interactively Generating Explanations for Transformer Language Models [14.306470205426526]
  トランスフォーマー言語モデルは、多くのNLPタスクにおいて最先端である。 最近の手法はブラックボックスモデルに対する解釈可能性と説明可能性を提供することを目的としている。 モデルアーキテクチャに直接組み込まれたプロトタイプネットワークを使うことを強調した。
  論文  参考訳（メタデータ） (2021-09-02T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。