論文の概要: RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension

• arxiv url: http://arxiv.org/abs/2308.02299v1
• Date: Thu, 3 Aug 2023 14:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-07 13:03:57.195550
• Title: RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension
• Title（参考訳）: regionblip: 総合的および地域的理解のための統合マルチモーダル事前学習フレームワーク
• Authors: Qiang Zhou, Chaohui Yu, Shaofeng Zhang, Sitong Wu, Zhibing Wang, Fan Wang
• Abstract要約: MLLM(Multi-modal Large Language Models)の理解を地域オブジェクトに拡張する。 本稿では,新しい位置支援型特徴抽出モジュールを提案する。 画像-リージョン-テキスト、ポイント-クラウド-テキスト、ポイント-クラウド-リージョン-テキストデータに基づいて、リージョンBLIPを事前訓練する。
• 参考スコア（独自算出の注目度）: 12.497783401857134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate extending the comprehension of Multi-modal Large Language Models (MLLMs) to regional objects. To this end, we propose to extract features corresponding to regional objects as soft prompts for LLM, which provides a straightforward and scalable approach and eliminates the need for LLM fine-tuning. To effectively extract regional features from regular image features and irregular point cloud features, we present a novel and unified position-assisted feature extraction module. Furthermore, training an MLLM from scratch is highly time-consuming. Thus, we propose incrementally extending existing pre-trained MLLMs to comprehend more modalities and the regional objects of those modalities. Specifically, we freeze the Q-Former from BLIP-2, an impressive MLLM, and optimize the modality-specific Lora parameters in Q-Former and LLM for each newly introduced modality. The freezing of the Q-Former eliminates the need for extensive pre-training on massive image-text data. The freezed Q-Former pre-trained from massive image-text data is also beneficial for the pre-training on image-region-text data. We name our framework RegionBLIP. We pre-train RegionBLIP on image-region-text, point-cloud-text, and point-cloud-region-text data. Experimental results verify that \Ours{} can preserve the image comprehension capability of BILP-2 and further gain a comprehension of the newly introduced point cloud modality and regional objects. The Data, Code, and Pre-trained models will be available at https://github.com/mightyzau/RegionBLIP.
• Abstract（参考訳）: 本研究では,マルチモーダル大規模言語モデル(MLLM)の地域オブジェクトへの拡張について検討する。 そこで本研究では,LLMのソフトプロンプトとして,地域オブジェクトに対応する特徴を抽出することを提案する。 正規画像特徴と不規則点雲特徴から地域特徴を効果的に抽出するために,新しい位置アシスト特徴抽出モジュールを提案する。 さらに、MLLMをゼロからトレーニングするのは非常に時間がかかる。 そこで本稿では,既存の事前学習型MLLMを段階的に拡張して,モダリティとそれらのモダリティの地域的対象を理解することを提案する。 具体的には、印象的なMLLMであるBLIP-2からQ-Formerを凍結し、新たに導入された各モダリティに対して、Q-Former と LLM のモダリティ固有の Lora パラメータを最適化する。 q-formerの凍結により、大量の画像テキストデータを事前トレーニングする必要がなくなる。 大量の画像テキストデータから事前学習した凍結q-formerは、画像領域テキストデータの事前学習にも有用である。 フレームワークを RegionBLIP と名付けます。 我々は、image-region-text、point-cloud-text、point-cloud-region-textデータでregionblipを事前トレーニングする。 Ours{} は BILP-2 のイメージ理解能力を保ち、新たに導入された点雲のモダリティと局所オブジェクトの理解を深めることができる。 Data、Code、Pre-trainedモデルはhttps://github.com/mightyzau/RegionBLIP.comから入手できる。

関連論文リスト

• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning [25.45278447786954]
  MLLM-LLaVA-FL(Multimodal Large Language Model Assisted Federated Learning)と呼ばれる新しいフェデレーション学習フレームワークを導入する。 当社のフレームワークは,Webサイトや強力なサーバサイド計算リソースからアクセス可能な,広範かつ未公開のオープンソースデータを活用することに長けています。
  論文  参考訳（メタデータ） (2024-09-09T21:04:16Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• An Empirical Study and Analysis of Text-to-Image Generation Using Large Language Model-Powered Textual Representation [21.154973705998945]
  既存のメソッドは、入力プロンプトを表現するためにCLIPモデルのテキストエンコーダを利用する。 大規模言語モデル(LLM)は多言語入力を提供し、より長いコンテキストに対応し、優れたテキスト表現を実現する。 LLMのテキスト表現を用いたテキスト・ツー・イメージモデルの高速な訓練を可能にする軽量なアダプタを提案する。
  論文  参考訳（メタデータ） (2024-05-21T16:35:02Z)
• ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
  大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。 ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。 LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
  論文  参考訳（メタデータ） (2024-03-30T10:11:26Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Refine and Represent: Region-to-Object Representation Learning [55.70715883351945]
  本稿では、領域ベースとオブジェクト中心の事前学習を統一する領域対オブジェクト表現学習(R2O)を提案する。 R2Oは、エンコーダを訓練して、領域ベースのセグメントをオブジェクト中心のマスクに動的に洗練する。 ImageNetで事前トレーニングを行った後、R2Oモデルは教師なしオブジェクトセグメンテーションにおける既存の最先端技術を上回ることができる。
  論文  参考訳（メタデータ） (2022-08-25T01:44:28Z)
• RegionCLIP: Region-based Language-Image Pretraining [94.29924084715316]
  画像テキストペアを用いたコントラスト言語画像事前学習(CLIP)は,画像分類において顕著な結果を得た。 そこで我々は,CLIPを拡張して領域レベルの視覚表現を学習するRegionalCLIPという手法を提案する。 提案手法は,COCOデータセットとLVISデータセットの新たなカテゴリに対して,3.8 AP50と2.2 APの精度を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-16T18:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。