論文の概要: InfiMM-HD: A Leap Forward in High-Resolution Multimodal Understanding

• arxiv url: http://arxiv.org/abs/2403.01487v1
• Date: Sun, 3 Mar 2024 11:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 21:04:18.021261
• Title: InfiMM-HD: A Leap Forward in High-Resolution Multimodal Understanding
• Title（参考訳）: InfiMM-HD:高分解能マルチモーダル理解の飛躍
• Authors: Haogeng Liu, Quanzeng You, Xiaotian Han, Yiqi Wang, Bohan Zhai, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang
• Abstract要約: InfiMM-HDは、計算オーバーヘッドの少ない様々な解像度の画像を処理するために特別に設計された新しいアーキテクチャである。 このアーキテクチャ設計を4段階のトレーニングパイプラインに統合することにより、我々のモデルは視覚的知覚を効率よく、コスト効率良く向上させることができる。
• 参考スコア（独自算出の注目度）: 80.41280837603607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have experienced significant advancements recently. Nevertheless, challenges persist in the accurate recognition and comprehension of intricate details within high-resolution images. Despite being indispensable for the development of robust MLLMs, this area remains underinvestigated. To tackle this challenge, our work introduces InfiMM-HD, a novel architecture specifically designed for processing images of different resolutions with low computational overhead. This innovation facilitates the enlargement of MLLMs to higher-resolution capabilities. InfiMM-HD incorporates a cross-attention module and visual windows to reduce computation costs. By integrating this architectural design with a four-stage training pipeline, our model attains improved visual perception efficiently and cost-effectively. Empirical study underscores the robustness and effectiveness of InfiMM-HD, opening new avenues for exploration in related areas. Codes and models can be found at https://huggingface.co/Infi-MM/infimm-hd
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は近年大きな進歩を遂げている。 しかし、課題は高解像度画像内の複雑な詳細を正確に認識し理解することにある。 堅固なMLLMの開発には欠かせないが、まだ未調査である。 InfiMM-HDは、計算オーバーヘッドの少ない様々な解像度の画像を処理するために特別に設計された新しいアーキテクチャである。 この革新はMLLMの高解像度化を促進する。 infimm-hdはクロスアテンションモジュールとビジュアルウィンドウを組み込んで計算コストを削減している。 このアーキテクチャ設計を4段階のトレーニングパイプラインに統合することにより,視覚知覚の効率とコスト効率が向上する。 実証的研究は、InfiMM-HDのロバスト性と有効性を強調し、関連する領域での探索のための新たな道を開く。 コードとモデルはhttps://huggingface.co/infi-mm/infimm-hdにある。

関連論文リスト

• MLLA-UNet: Mamba-like Linear Attention in an Efficient U-Shape Model for Medical Image Segmentation [6.578088710294546]
  従来のセグメンテーション手法は、高い解剖学的変動、ぼやけた組織の境界、低い臓器コントラスト、ノイズといった課題に対処するのに苦労する。 MLLA-UNet(Mamba-like Linear Attention UNet)を提案する。 MLLA-UNetは、FLARE22、AMOS CT、ACDCに限らず、24の異なるセグメンテーションタスクを持つ6つの挑戦的なデータセットに対して、平均88.32%の最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-10-31T08:54:23Z)
• Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
  大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。 本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
  論文  参考訳（メタデータ） (2024-09-03T15:35:01Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Efficient 3D Shape Generation via Diffusion Mamba with Bidirectional SSMs [16.05598829701769]
  3次元点雲生成に適した新しい拡散アーキテクチャーDiffusion Mamba (DiM-3D)を提案する。 DiM-3Dは従来の注意機構を捨て、代わりにMambaアーキテクチャの本質的な効率を利用して、シーケンス長に関する線形複雑性を維持する。 ShapeNetベンチマークによる実験結果から、DEM-3Dは高忠実で多様な3D形状を生成する上で、最先端の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-06-07T16:02:07Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing [57.52865154829273]
  ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。 過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。 このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
  論文  参考訳（メタデータ） (2021-03-02T03:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。