論文の概要: Improved Baselines for Data-efficient Perceptual Augmentation of LLMs

• arxiv url: http://arxiv.org/abs/2403.13499v1
• Date: Wed, 20 Mar 2024 10:57:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:07:38.356095
• Title: Improved Baselines for Data-efficient Perceptual Augmentation of LLMs
• Title（参考訳）: LLMのデータ効率向上のためのベースラインの改良
• Authors: Théophane Vallaeys, Mustafa Shukor, Matthieu Cord, Jakob Verbeek,
• Abstract要約: コンピュータビジョンでは、画像キャプションや視覚的質問応答などの視覚言語タスクに、大きな言語モデル(LLM)を用いることができる。 複数のタスクにまたがる異なる対面機構を実験的に評価する。 異なるタスク間で(ほぼ)最適な結果をもたらす新しいインターフェース機構を同定し、トレーニング時間を4倍短縮する。
• 参考スコア（独自算出の注目度）: 66.05826802808177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The abilities of large language models (LLMs) have recently progressed to unprecedented levels, paving the way to novel applications in a wide variety of areas. In computer vision, LLMs can be used to prime vision-language tasks such image captioning and visual question answering when coupled with pre-trained vision backbones. While different approaches have been explored to interface LLMs with ``perceptual backbones'' that process, e.g., visual or audio data, they are often explored for different tasks, different datasets, and using different perceptual backbones and language models, hindering direct comparison of the interfacing mechanisms. To remedy this lack of comparability between methods, we present an extensive experimental evaluation of different interfacing mechanisms, across multiple tasks (including image, video, and audio captioning as well as visual question answering), datasets and backbones, paying special attention to low-data settings. We find improved performance using existing mechanisms over state-of-the-art results, and identify a new interfacing mechanism that yields (near) optimal results across different tasks, while obtaining a 4x reduction in training time.
• Abstract（参考訳）: 大規模言語モデル(LLM)の能力は、最近前例のないレベルにまで進歩し、様々な分野で新しい応用の道を開いた。 コンピュータビジョンでは、LLMは、事前訓練された視覚バックボーンと組み合わせることで、画像キャプションや視覚質問応答などの視覚言語タスクに使用できる。 視覚的データや音声データなどのプロセスである ``perceptual backbones' で LLM をインターフェースするためにさまざまなアプローチが検討されているが、それらは多くの場合、異なるタスク、異なるデータセット、異なる知覚バックボーンと言語モデルを使用することで、インターフェースメカニズムの直接比較を妨げている。 この方法間の互換性の欠如を補うため、複数のタスク(画像、ビデオ、音声キャプション、視覚的質問応答など)、データセット、バックボーンなど)にまたがる様々なインターフェースメカニズムを実験的に評価し、低データ設定に特に注意を払う。 その結果, 従来の手法よりも性能が向上し, 学習時間を4倍に抑えつつ, 異なるタスク間で(ほぼ)最適な結果が得られる新たなインターフェース機構が同定された。

関連論文リスト

• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。 コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。 SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Expanding Frozen Vision-Language Models without Retraining: Towards Improved Robot Perception [0.0]
  視覚言語モデル(VLM)は、視覚的質問応答と推論タスクにおいて強力な能力を示している。 本稿では,異なるモダリティの埋め込み空間を視覚埋め込み空間に整列させる手法を示す。 複数モードを入力として使用すると、VLMのシーン理解が向上し、様々なタスクにおける全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-08-31T06:53:55Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• Evaluation of Audio-Visual Alignments in Visually Grounded Speech Models [2.1320960069210484]
  本研究は,視覚的接地音声(VGS)モデルを用いたマルチモーダル学習の研究である。 視覚オブジェクトと音声単語の整列におけるモデル性能評価のための体系的指標を提案する。 クロスモーダル・アテンションはモデルのセマンティック・クロスモーダル検索性能の向上に役立つことを示す。
  論文  参考訳（メタデータ） (2021-07-05T12:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。