論文の概要: X-VILA: Cross-Modality Alignment for Large Language Model

• arxiv url: http://arxiv.org/abs/2405.19335v1
• Date: Wed, 29 May 2024 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 15:52:40.414691
• Title: X-VILA: Cross-Modality Alignment for Large Language Model
• Title（参考訳）: X-VILA:大規模言語モデルのためのクロスプラットフォームアライメント
• Authors: Hanrong Ye, De-An Huang, Yao Lu, Zhiding Yu, Wei Ping, Andrew Tao, Jan Kautz, Song Han, Dan Xu, Pavlo Molchanov, Hongxu Yin,
• Abstract要約: X-VILAは、画像、ビデオ、オーディオのモダリティを組み込むことで、大きな言語モデル(LLM)の機能を拡張するために設計された、オールニモダリティモデルである。 視覚情報損失問題に対処するため,視覚埋め込みハイウェイモジュールを用いた視覚アライメント機構を提案する。 X-VILAは、あらゆるモダリティの会話に習熟し、それまでのアプローチを大きなマージンで上回っている。
• 参考スコア（独自算出の注目度）: 91.96081978952283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce X-VILA, an omni-modality model designed to extend the capabilities of large language models (LLMs) by incorporating image, video, and audio modalities. By aligning modality-specific encoders with LLM inputs and diffusion decoders with LLM outputs, X-VILA achieves cross-modality understanding, reasoning, and generation. To facilitate this cross-modality alignment, we curate an effective interleaved any-to-any modality instruction-following dataset. Furthermore, we identify a significant problem with the current cross-modality alignment method, which results in visual information loss. To address the issue, we propose a visual alignment mechanism with a visual embedding highway module. We then introduce a resource-efficient recipe for training X-VILA, that exhibits proficiency in any-to-any modality conversation, surpassing previous approaches by large margins. X-VILA also showcases emergent properties across modalities even in the absence of similar training data. The project will be made open-source.
• Abstract（参考訳）: X-VILAは、画像、ビデオ、オーディオのモダリティを組み込むことで、大きな言語モデル(LLM)の能力を拡張するために設計されたモダリティモデルである。 モダリティ固有のエンコーダとLLM入力と拡散デコーダをLLM出力に整合させることで、X-VILAはモダリティ間の理解、推論、生成を実現する。 この相互モダリティアライメントを容易にするために、効果的なインターリーブされた任意のモダリティ命令追従データセットをキュレートする。 さらに,現在のモダリティアライメント手法において,視覚的情報損失を生じさせる重要な問題を特定する。 この問題に対処するため,視覚埋め込みハイウェイモジュールを用いた視覚アライメント機構を提案する。 次に、X-VILAを学習するためのリソース効率のよいレシピを導入し、あらゆるモダリティ会話の習熟度を示し、これまでのアプローチを大きなマージンで上回るようにした。 X-VILAは、類似したトレーニングデータがない場合でも、モダリティを越えて創発的な特性を示す。 プロジェクトはオープンソース化される予定だ。

関連論文リスト

• X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs [49.30255148577368]
  X-FormerはCLとMIMの相補的な強度を利用するために設計された軽量トランスフォーマーモジュールである。 X-Formerは、2つの凍結した視覚エンコーダから視覚言語表現学習とマルチモーダル・マルチモーダル生成学習をブートストラップする。 さらに、凍結したLLMから視覚から言語への生成学習をブートストラップし、X-Formerの視覚的特徴をLLMで解釈できるようにする。
  論文  参考訳（メタデータ） (2024-07-18T18:39:54Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [18.100947750831885]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning [22.464424641734652]
  クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。 本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。 また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
  論文  参考訳（メタデータ） (2022-11-24T06:39:16Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)
• X-modaler: A Versatile and High-performance Codebase for Cross-modal Analytics [99.03895740754402]
  X-modalerは最先端のクロスモーダル分析をいくつかの汎用ステージにカプセル化する。 X-modalerはApacheライセンスで,ソースコードやサンプルプロジェクト,トレーニング済みのモデルなどがオンラインで公開されている。
  論文  参考訳（メタデータ） (2021-08-18T16:05:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。