論文の概要: Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2406.08487v3
- Date: Fri, 14 Jun 2024 00:52:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 17:54:01.952617
- Title: Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models
- Title（参考訳）: LLaVA-HDを超える:高分解能大規模マルチモーダルモデルへの分割
- Authors: Yi-Fan Zhang, Qingsong Wen, Chaoyou Fu, Xue Wang, Zhang Zhang, Liang Wang, Rong Jin,
- Abstract要約: 我々は、高度化タスク付きLMM、局所画像圧縮、グローバルエキスパートの混合(SliME)を提案する。
我々は,異なるタスクにおいて異なるアダプタが優れているという観察に基づいて,アダプタの混合を用いてグローバルビューからコンテキスト情報を抽出する。
提案手法は,200万のトレーニングデータのみを用いて,様々なベンチマークにおいて先行的な性能を実現する。
- 参考スコア（独自算出の注目度）: 44.437693135170576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Seeing clearly with high resolution is a foundation of Large Multimodal Models (LMMs), which has been proven to be vital for visual perception and reasoning. Existing works usually employ a straightforward resolution upscaling method, where the image consists of global and local branches, with the latter being the sliced image patches but resized to the same resolution as the former. This means that higher resolution requires more local patches, resulting in exorbitant computational expenses, and meanwhile, the dominance of local image tokens may diminish the global context. In this paper, we dive into the problems and propose a new framework as well as an elaborate optimization strategy. Specifically, we extract contextual information from the global view using a mixture of adapters, based on the observation that different adapters excel at different tasks. With regard to local patches, learnable query embeddings are introduced to reduce image tokens, the most important tokens accounting for the user question will be further selected by a similarity-based selector. Our empirical results demonstrate a `less is more' pattern, where \textit{utilizing fewer but more informative local image tokens leads to improved performance}. Besides, a significant challenge lies in the training strategy, as simultaneous end-to-end training of the global mining block and local compression block does not yield optimal results. We thus advocate for an alternating training way, ensuring balanced learning between global and local aspects. Finally, we also introduce a challenging dataset with high requirements for image detail, enhancing the training of the local compression layer. The proposed method, termed LMM with Sophisticated Tasks, Local image compression, and Mixture of global Experts (SliME), achieves leading performance across various benchmarks with only 2 million training data.
- Abstract（参考訳）: 高解像度で明確に見ることは、視覚知覚と推論に不可欠であることが証明されたLMM(Large Multimodal Models)の基礎である。
既存の作業では、画像はグローバルとローカルのブランチで構成され、後者はスライスされたイメージパッチだが、前者と同じ解像度にリサイズされる。
これは、高解像度ではより局所的なパッチが必要であり、結果として計算コストが増大し、一方、局所的な画像トークンの優位性はグローバルな文脈を低下させる可能性があることを意味している。
本稿では,この問題を掘り下げ,新たなフレームワークと精巧な最適化戦略を提案する。
具体的には、異なるアダプタが異なるタスクで優れているという観察に基づいて、アダプタの混合を用いて、グローバルビューからコンテキスト情報を抽出する。
ローカルパッチに関しては、画像トークンを減らすために学習可能なクエリ埋め込みを導入し、ユーザ疑問に対処する最も重要なトークンは、類似性ベースのセレクタによってさらに選択される。
実験の結果は‘less is more’パターンを示し、より少ないがより情報的なローカル画像トークンを使用するとパフォーマンスが向上することを示している。
さらに、グローバルマイニングブロックと局所圧縮ブロックの同時エンドツーエンドトレーニングが最適な結果をもたらすことはないため、トレーニング戦略において重要な課題がある。
そこで我々は、グローバルな側面とローカルな側面のバランスの取れた学習を確実にする、交互に訓練する方法を提唱する。
最後に,画像の詳細化の要求の高いデータセットを導入し,局所的な圧縮層のトレーニングを強化した。
提案手法は,SliME(Sophisticated Tasks,ローカル画像圧縮,Mixture of Global Experts)を用いたLMMと呼ばれ,200万のトレーニングデータのみを用いて,様々なベンチマークにおいて先行的な性能を実現する。
関連論文リスト
- Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。
具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。
次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
論文 参考訳（メタデータ） (2024-06-19T13:51:52Z) - Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。
既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。
本提案では,ガウス分布を用いた地域表現をモデル化する。
論文 参考訳（メタデータ） (2024-03-15T12:41:30Z) - Coarse-to-Fine: Learning Compact Discriminative Representation for
Single-Stage Image Retrieval [11.696941841000985]
検索と参照のパラダイムに従う2段階の手法は優れた性能を達成しているが、それぞれのローカルモジュールとグローバルモジュールは現実世界のアプリケーションでは非効率である。
本稿では,重要な局所記述子を注意深く選択し,大域的な表現に微粒な意味関係を注入する機構を提案する。
提案手法は,Revisited OxfordやRevisited Parisなどのベンチマークを用いて,最先端の単一ステージ画像検索性能を実現する。
論文 参考訳（メタデータ） (2023-08-08T03:06:10Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2022-04-19T17:59:45Z) - Any-resolution Training for High-resolution Image Synthesis [55.19874755679901]
生成モデルは、様々な大きさの自然画像であっても、一定の解像度で動作します。
すべてのピクセルが重要であり、そのネイティブ解像度で収集された可変サイズのイメージを持つデータセットを作成する、と我々は主張する。
ランダムなスケールでパッチをサンプリングし、可変出力解像度で新しいジェネレータを訓練するプロセスである。
論文 参考訳（メタデータ） (2022-04-14T17:59:31Z) - Single Image Internal Distribution Measurement Using Non-Local
Variational Autoencoder [11.985083962982909]
本稿では,非局所変分オートエンコーダ(textttNLVAE)という画像固有解を提案する。
textttNLVAEは,非局所領域からの非絡み合った情報を用いて高解像度画像を再構成する自己教師型戦略として導入された。
7つのベンチマークデータセットによる実験結果から,textttNLVAEモデルの有効性が示された。
論文 参考訳（メタデータ） (2022-04-02T18:43:55Z) - DOLG: Single-Stage Image Retrieval with Deep Orthogonal Fusion of Local
and Global Features [42.62089148690047]
エンドツーエンドの画像検索のための情報融合フレームワークとして,Deep Orthogonal Local and Global (DOLG)を提案する。
マルチアトラスな畳み込みと自己注意によって、代表的ローカル情報を注意深く抽出する。
フレームワーク全体がエンドツーエンドの差別化が可能で、イメージレベルのラベルでトレーニングすることができる。
論文 参考訳（メタデータ） (2021-08-06T03:14:09Z) - InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
任意の解像度画像を生成するinfinityganを提案する。
少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:30Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳（メタデータ） (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。