論文の概要: TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning

• arxiv url: http://arxiv.org/abs/2410.10491v2
• Date: Thu, 20 Mar 2025 15:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 19:00:56.917293
• Title: TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning
• Title（参考訳）: TWIST & SCOUT: Forget-free Tuning によるマルチモーダル LLM-Experts の接地
• Authors: Aritra Bhowmik, Mohammad Mahdi Derakhshani, Dennis Koelma, Yuki M. Asano, Martin R. Oswald, Cees G. M. Snoek,
• Abstract要約: TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。 モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。 このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
• 参考スコア（独自算出の注目度）: 54.033346088090674
• License:
• Abstract: Spatial awareness is key to enable embodied multimodal AI systems. Yet, without vast amounts of spatial supervision, current Multimodal Large Language Models (MLLMs) struggle at this task. In this paper, we introduce TWIST & SCOUT, a framework that equips pre-trained MLLMs with visual grounding ability without forgetting their existing image and language understanding skills. To this end, we propose TWIST, a twin-expert stepwise tuning module that modifies the decoder of the language model using one frozen module pre-trained on image understanding tasks and another learnable one for visual grounding tasks. This allows the MLLM to retain previously learned knowledge and skills, while acquiring what is missing. To fine-tune the model effectively, we generate a high-quality synthetic dataset we call SCOUT, which mimics human reasoning in visual grounding. This dataset provides rich supervision signals, describing a step-by-step multimodal reasoning process, thereby simplifying the task of visual grounding. We evaluate our approach on several standard benchmark datasets, encompassing grounded image captioning, zero-shot localization, and visual grounding tasks. Our method consistently delivers strong performance across all tasks, while retaining the pre-trained image understanding capabilities.
• Abstract（参考訳）: 空間認識は、具体化されたマルチモーダルAIシステムを実現するための鍵である。 しかし、膨大な空間的監督がなければ、現在のMLLM(Multimodal Large Language Models)はこの課題に苦慮している。 本稿では,既存の画像や言語理解スキルを忘れることなく,学習済みのMLLMを視覚的接地能力を備えたフレームワークであるTWIST & SCOUTを紹介する。 そこで本研究では,画像理解タスクで事前学習した1つのフリーズモジュールと,視覚的グラウンド化タスクのための学習可能なモジュールを用いて,言語モデルのデコーダを変更する,双発的なステップワイズチューニングモジュールTWISTを提案する。 これによりMLLMは、これまで学んだ知識とスキルを維持しながら、不足しているものを取得することができる。 モデルを効果的に微調整するために、SCOUTと呼ばれる高品質な合成データセットを生成し、視覚的接地における人間の推論を模倣する。 このデータセットはリッチな監視信号を提供し、ステップバイステップのマルチモーダル推論プロセスを記述することにより、視覚的な接地作業を簡単にする。 我々は、画像キャプション、ゼロショットのローカライゼーション、視覚的グラウンド化タスクを含む、いくつかの標準ベンチマークデータセットに対するアプローチを評価した。 本手法は,訓練済みの画像理解能力を保ちながら,全てのタスクに対して高い性能を実現する。

関連論文リスト

• Do we Really Need Visual Instructions? Towards Visual Instruction-Free Fine-tuning for Large Vision-Language Models [127.38740043393527]
  LVLMのための視覚的命令なし微調整フレームワークであるViFTを提案する。 我々は、タスク解決能力と視覚知覚能力を個別に学習するために、トレーニング中にテキストのみの指示と画像キャプションデータのみを必要とする。 実験結果から,VFTはいくつかの視覚的推論と,それに続く視覚的指示に対して,最先端の性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-02-17T04:38:12Z)
• EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models [54.234657224615354]
  大規模な言語モデルと視覚変換器は、ダウンストリームタスクにおいて大きな転送可能性を実現する、印象的なゼロショット機能を示している。 膨大な画像と言語の事前学習を取り入れているにもかかわらず、これらのマルチモーダルアーキテクチャは、画像データの基底真理から逸脱する応答をしばしば生成する。 幻覚を緩和する現在の方法は、一般的に言語コンポーネントの正規化、融合モジュールの改善、視覚表現を改善するために複数の視覚エンコーダのアンサンブルに焦点を当てている。 従来のコントラスト付き事前学習タスクを手軽に書き換えることで,教育用マルチモーダルアーキテクチャに組み込まれたビジュアルエンコーダが,追加の指導訓練を行なわずに実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-06T00:39:31Z)
• FiVL: A Framework for Improved Vision-Language Alignment [10.184567639685321]
  本稿では,LVLMを学習するための新しいデータセット構築手法であるFiVLを紹介する。 これらのデータセットは、LVLMのイメージコンテンツを実体的証拠として使用する能力のトレーニングと評価の両方に使用することができる。 提案するデータセットの有用性を実証するために,検証手法と説明可能性の応用とともに,ベースラインを向上する革新的なトレーニングタスクを導入する。
  論文  参考訳（メタデータ） (2024-12-19T09:24:10Z)
• Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
  VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。 本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
  論文  参考訳（メタデータ） (2024-08-13T08:26:32Z)
• Learning Visual Grounding from Generative Vision and Language Model [29.2712567454021]
  ビジュアルグラウンドタスクは、自然言語参照に基づいて画像領域をローカライズすることを目的としている。 生成的VLMには基底知識がすでに存在しており、適切なプロンプトによって引き起こすことができる。 本研究は,実世界における視覚的接地を拡大するための生成型VLMの可能性を実証するものである。
  論文  参考訳（メタデータ） (2024-07-18T20:29:49Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Improving Visual Commonsense in Language Models via Multiple Image Generation [41.565399860320966]
  既存の大規模言語モデル(LLM)は、主にテキストデータのみを使用して訓練されている。 視覚言語モデルは視覚的に指向するタスクに優れており、基本的なコモンセンス推論のような視覚的でないタスクでは失敗することが多い。 この分散は、基本的なテキストベースの言語推論と堅牢な視覚的理解の統合という、重要な課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-06-19T15:17:10Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
  MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。 しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。 We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
  論文  参考訳（メタデータ） (2023-12-21T18:49:47Z)
• Large Language Models are Visual Reasoning Coordinators [144.67558375045755]
  視覚的推論のために複数の視覚言語モデルを協調する新しいパラダイムを提案する。 提案手法は,視覚的質問応答における最先端性能を実現するため,命令チューニングの変種であるCola-FTを提案する。 また,テキスト内学習の変種であるCola-Zeroは,ゼロおよび少数ショット設定で競合性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-23T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。