論文の概要: On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning

• arxiv url: http://arxiv.org/abs/2406.11823v1
• Date: Mon, 17 Jun 2024 17:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:14:13.723621
• Title: On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
• Title（参考訳）: 視覚的自然言語理解のための効率的な言語と視覚アシスタントについて:読みと推論に何が必要か
• Authors: Geewook Kim, Minjoon Seo,
• Abstract要約: 言語と視覚アシスタントの最近の進歩は印象的な能力を示しているが、透明性の欠如に悩まされている。 オープンソースモデルは、一般的なイメージタスクを効果的に処理するが、複雑な視覚的なテキスト理解の高度な計算要求に直面する。 本研究の目的は、キーコンポーネントを特定し、制約付き推論コストで効率的なモデルを作成することにより、視覚言語モデルの設計を再定義することである。
• 参考スコア（独自算出の注目度）: 33.89483627891117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in language and vision assistants have showcased impressive capabilities but suffer from a lack of transparency, limiting broader research and reproducibility. While open-source models handle general image tasks effectively, they face challenges with the high computational demands of complex visually-situated text understanding. Such tasks often require increased token inputs and large vision modules to harness high-resolution information. Striking a balance between model size and data importance remains an open question. This study aims to redefine the design of vision-language models by identifying key components and creating efficient models with constrained inference costs. By strategically formulating datasets, optimizing vision modules, and enhancing supervision techniques, we achieve significant improvements in inference throughput while maintaining high performance. Extensive experiments across models ranging from 160M to 13B parameters offer insights into model optimization. We will fully open-source our codebase, models, and datasets at https://github.com/naver-ai/elva .
• Abstract（参考訳）: 言語と視覚アシスタントの最近の進歩は印象的な能力を示したが、透明性の欠如に悩まされ、より広範な研究と再現性が制限された。 オープンソースモデルは、一般的なイメージタスクを効果的に処理するが、複雑な視覚的なテキスト理解の計算要求の高い問題に直面している。 このようなタスクは、高解像度情報を利用するためにトークン入力の増加と大きな視覚モジュールを必要とすることが多い。 モデルのサイズとデータの重要性のバランスを取ることは、まだ未解決の問題だ。 本研究の目的は、キーコンポーネントを特定し、制約付き推論コストで効率的なモデルを作成することにより、視覚言語モデルの設計を再定義することである。 データセットを戦略的に定式化し、視覚モジュールを最適化し、監督技術を強化することにより、高い性能を維持しながら、推論スループットを大幅に改善する。 160Mから13Bまでのモデルにわたる大規模な実験は、モデルの最適化に関する洞察を提供する。 私たちは、コードベース、モデル、データセットをhttps://github.com/naver-ai/elva で完全にオープンソースにします。

関連論文リスト

• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。 コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。 SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Efficiency-oriented approaches for self-supervised speech representation learning [1.860144985630098]
  自己教師付き学習は、大きなラベル付きデータセットを必要とせずに、大きなニューラルネットワークモデルのトレーニングを可能にする。 コンピュータビジョン、自然言語処理、生物学、音声など、いくつかの分野で画期的な成果を上げている。 現在の努力にもかかわらず、自己教師付き表現学習における高い計算コストに対応するために、より多くの作業を行うことができる。
  論文  参考訳（メタデータ） (2023-12-18T12:32:42Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)
• Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better [0.0]
  ディープラーニングモデルの進歩的な改善により、パラメータの数、レイテンシ、トレーニングに必要なリソースなどが大幅に増加した。 深層学習における効率性の問題の提示と動機付けを行い,続いてモデル効率の5つの中核領域を徹底的に調査した。 これは、モデリング技術からハードウェアサポートまで、モデル効率のランドスケープをカバーした、効率的なディープラーニング分野における初めての総合的な調査であると考えています。
  論文  参考訳（メタデータ） (2021-06-16T17:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。