論文の概要: M$^2$IST: Multi-Modal Interactive Side-Tuning for Memory-efficient Referring Expression Comprehension

• arxiv url: http://arxiv.org/abs/2407.01131v1
• Date: Mon, 1 Jul 2024 09:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:09:47.006938
• Title: M$^2$IST: Multi-Modal Interactive Side-Tuning for Memory-efficient Referring Expression Comprehension
• Title（参考訳）: M$^2$IST: メモリ効率の参照式理解のためのマルチモード対話型サイドチューニング
• Authors: Xuyang Liu, Ting Liu, Siteng Huang, Yue Hu, Quanjun Yin, Donglin Wang, Honggang Chen,
• Abstract要約: 参照式理解(Referring Expression comprehension、REC)は、言語表現に基づいて画像中の対象物を特定する視覚言語タスクである。 M$2$IST: Multi-Modal Interactive Side-Tuning with M$3$ISAs: Mixture of Multi-Modal Interactive Side-Adapters。
• 参考スコア（独自算出の注目度）: 36.7152754974329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Referring expression comprehension (REC) is a vision-language task to locate a target object in an image based on a language expression. Fully fine-tuning general-purpose pre-trained models for REC yields impressive performance but becomes increasingly costly. Parameter-efficient transfer learning (PETL) methods have shown strong performance with fewer tunable parameters. However, applying PETL to REC faces two challenges: (1) insufficient interaction between pre-trained vision and language encoders, and (2) high GPU memory usage due to gradients passing through both heavy encoders. To address these issues, we present M$^2$IST: Multi-Modal Interactive Side-Tuning with M$^3$ISAs: Mixture of Multi-Modal Interactive Side-Adapters. During fine-tuning, we keep the pre-trained vision and language encoders fixed and update M$^3$ISAs on side networks to establish connections between them, thereby achieving parameter- and memory-efficient tuning for REC. Empirical results on three benchmarks show M$^2$IST achieves the best performance-parameter-memory trade-off compared to full fine-tuning and other PETL methods, with only 3.14M tunable parameters (2.11% of full fine-tuning) and 15.44GB GPU memory usage (39.61% of full fine-tuning). Source code will soon be publicly available.
• Abstract（参考訳）: 参照式理解(Referring Expression comprehension、REC)は、言語表現に基づいて画像中の対象物を特定する視覚言語タスクである。 RECのための完全な微調整された汎用事前訓練モデルは、素晴らしい性能を得るが、ますますコストがかかる。 パラメータ効率変換学習 (PETL) 法は, 調整可能なパラメータが少なく, 高い性能を示した。 しかし、PETLをRECに適用することは、(1)事前学習された視覚と言語エンコーダの相互作用が不十分なこと、(2)重エンコーダを経由する勾配による高いGPUメモリ使用率の2つの課題に直面している。 これらの問題に対処するため、M$^2$IST:M$^3$ISAs: Mixture of Multi-Modal Interactive Side-Adaptersを提案する。 微調整中は、事前学習されたビジョンと言語エンコーダを固定し、M$^3$ISAsをサイドネットワーク上で更新し、それら間の接続を確立することにより、RECのためのパラメータとメモリ効率のチューニングを実現する。 M$^2$ISTはフル微調整や他のPETL法と比較して最高のパフォーマンスパラメータ-メモリトレードオフを達成し、3.14Mのチューナブルパラメータ(フル微調整の2.11%)と15.44GBのGPUメモリ使用率(フル微調整の39.61%)を達成している。 ソースコードはまもなく公開される予定だ。

関連論文リスト

• Accelerating Multimodal Large Language Models by Searching Optimal Vision Token Reduction [62.8375542401319]
  MLLM(Multimodal Large Language Models)は、入力イメージを視覚トークンとしてエンコードし、それらを言語バックボーンに入力する。 画像解像度が大きくなるにつれて、視覚トークンの数は2次的に増加し、膨大な計算コストがかかる。 本稿では,各層を浅層から深層まで保持する最小限の視覚トークンを求めるために,欲求探索アルゴリズム(G-Search)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T18:54:32Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• MaPPER: Multimodal Prior-guided Parameter Efficient Tuning for Referring Expression Comprehension [14.98036475954174]
  Referring Expressionvolution (REC) は、自然言語を介して局所的な視覚領域を構築することを目的としている。 既存のほとんどの方法は、強力な事前訓練されたモデルを使用して、完全な微調整によって視覚的/言語的な知識を伝達する。 本稿では,Multi pre-guided Directly Efficient Tuning,すなわちMaPPERを提案する。 MaPPERは、1.41%のバックボーンパラメータしか持たないフル微調整や他のPETL法と比較して、最も精度が高い。
  論文  参考訳（メタデータ） (2024-09-20T16:12:26Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• ELIP: Efficient Language-Image Pre-training with Fewer Vision Tokens [75.09406436851445]
  本稿では,言語出力の監督による影響の少ないトークンを除去するために,視覚トークンのプルーニングとマージ手法ELIPを提案する。 実験により、12層のViT層に30$%のビジョントークンが削除されたことにより、ELIPは著しく同等のパフォーマンスを維持した。
  論文  参考訳（メタデータ） (2023-09-28T05:31:07Z)
• Parameter-Efficient Transfer Learning for Remote Sensing Image-Text Retrieval [10.84733740863356]
  本研究では,画像テキスト検索タスクにおいて,自然領域から RS 領域に視覚言語知識を伝達するためのパラメータ効率変換学習(PETL)手法について検討する。 提案モデルでは0.16万のトレーニングパラメータしか含まないため,完全微調整に比べて98.9%のパラメータ削減が可能である。 検索性能は従来の手法を7～13%超え,完全微調整よりも高い性能を達成している。
  論文  参考訳（メタデータ） (2023-08-24T02:43:53Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。