論文の概要: OneEncoder: A Lightweight Framework for Progressive Alignment of Modalities

• arxiv url: http://arxiv.org/abs/2409.11059v2
• Date: Wed, 18 Sep 2024 13:27:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 12:04:00.609748
• Title: OneEncoder: A Lightweight Framework for Progressive Alignment of Modalities
• Title（参考訳）: OneEncoder: モダリティの進行的アライメントのための軽量フレームワーク
• Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah,
• Abstract要約: クロスモーダルアライメント学習は、テキスト、画像、オーディオ、ビデオなどのさまざまなモダリティからの情報を統合して、統一されたモデルを作成する。 現在のテクニックは、大規模なモダリティ固有のエンコーダに依存しており、広範囲に整列したデータセット上で、スクラッチから微調整やトレーニングを必要とする。 OneEncoderは4つのモダリティを徐々に表現し調整する軽量フレームワークである。
• 参考スコア（独自算出の注目度）: 0.08192907805418585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modal alignment Learning integrates information from different modalities like text, image, audio and video to create unified models. This approach develops shared representations and learns correlations between modalities, enabling applications such as visual question answering and audiovisual content analysis. Current techniques rely on large modality-specific encoders, necessitating fine-tuning or training from scratch on vast aligned datasets (e.g., text-image, text-audio, image-audio). This approach has limitations: (i) it is very expensive due to the need for training large encoders on extensive datasets, (ii) acquiring aligned large paired datasets is challenging, and (iii) adding new modalities requires retraining the entire framework to incorporate these modalities. To address these issues, we propose OneEncoder, a lightweight framework that progressively represents and aligns four modalities (image, text, audio, video). Initially, we train a lightweight Universal Projection module (UP) to align image and text modalities. Then, we freeze the pretrained UP and progressively align future modalities to those already aligned. OneEncoder operates efficiently and cost-effectively, even in scenarios where vast aligned datasets are unavailable, due to its lightweight design. Trained on small paired datasets, it shows strong performance in tasks like classification, querying, and visual question answering, surpassing methods that rely on large datasets and specialized encoders.
• Abstract（参考訳）: クロスモーダルアライメント 学習は、テキスト、画像、オーディオ、ビデオなどのさまざまなモダリティからの情報を統合して、統一されたモデルを作成する。 このアプローチは共有表現を開発し、モダリティ間の相関関係を学習し、視覚的質問応答や視覚的コンテンツ分析などの応用を可能にする。 現在のテクニックは、大規模なモダリティ固有のエンコーダに依存しており、広範囲な整列したデータセット(例えば、テキストイメージ、テキストオーディオ、画像オーディオ)をスクラッチから微調整またはトレーニングする必要がある。 このアプローチには制限があります。 (i)大規模なエンコーダを広範囲のデータセットで訓練する必要があるため、非常に高価である。 二 整列した大データセットの取得は困難であり、 (iii)新しいモダリティを追加するには、これらのモダリティを組み込むためにフレームワーク全体をトレーニングする必要がある。 これらの問題に対処するために、我々は4つのモダリティ(画像、テキスト、オーディオ、ビデオ)を段階的に表現し整列する軽量フレームワークであるOneEncoderを提案する。 当初私たちは、画像とテキストのモダリティを調整するために、軽量のユニバーサルプロジェクションモジュール(UP)をトレーニングしました。 そして、事前訓練されたUPを凍結し、将来的なモダリティを、すでに整列しているものへ徐々に調整する。 OneEncoderは、軽量な設計のため、膨大なアライメントデータセットが利用できないシナリオであっても、効率的かつ費用対効果で運用する。 小さなペアデータセットに基づいてトレーニングされ、分類、クエリ、視覚的な質問応答といったタスクにおいて、大きなデータセットや特殊なエンコーダに依存するメソッドを超越したパフォーマンスを示す。

関連論文リスト

• From Unimodal to Multimodal: Scaling up Projectors to Align Modalities [16.733970553781887]
  そこで本研究では,事前学習した凍結アンモダルエンコーダ上の投影層のみを用いて,視覚と言語モダリティを整合させる手法を提案する。 本手法は,よく訓練された視覚の埋め込み空間と言語モデルとのセマンティックな類似性を利用した。 これには、潜在空間における意味的に類似したエンコーダの選択、イメージキャプチャペアの概念豊富なデータセットのキュレーション、シンプルなプロジェクタのトレーニングが含まれる。
  論文  参考訳（メタデータ） (2024-09-28T17:57:32Z)
• A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• OmniDataComposer: A Unified Data Structure for Multimodal Data Fusion and Infinite Data Generation [8.149870655785955]
  OmniDataComposerは、マルチモーダルデータ融合と無制限データ生成のための革新的なアプローチである。 6400以上のオブジェクトを識別でき、視覚情報のスペクトルを大幅に広げる。 多様なモダリティを網羅し、モダリティ間の相互強化を促進し、モダリティ間のデータ修正を容易にする。
  論文  参考訳（メタデータ） (2023-08-08T08:30:16Z)
• ONE-PEACE: Exploring One General Representation Model Toward Unlimited Modalities [71.15303690248021]
  ONE-PEACEは、4Bパラメータを持つ高モデルで、視覚、オーディオ、言語モダリティ間の表現をシームレスに整列し統合することができる。 ONE-PEACEのアーキテクチャは、モダリティアダプタ、共有自己アテンション層、およびモダリティFFNからなる。 スケーラビリティに優しいアーキテクチャと事前トレーニングタスクにより、ONE-PEACEは無制限のモダリティに拡張する可能性がある。
  論文  参考訳（メタデータ） (2023-05-18T17:59:06Z)
• MaMMUT: A Simple Architecture for Joint Learning for MultiModal Tasks [59.09343552273045]
  本稿では,これらの異なる視覚言語タスクの協調学習に驚くほど有効であるマルチモーダルタスクのためのデコーダのみのモデルを提案する。 これらの多様な目的の合同学習は単純で効果的であり、これらのタスク間でのモデルの重量共有を最大化することを示した。 我々のモデルは,画像テキストとテキスト画像検索,ビデオ質問応答,オープン語彙検出タスクにおける技術の現状を達成し,より大きく,より広範囲に訓練された基礎モデルよりも優れている。
  論文  参考訳（メタデータ） (2023-03-29T16:42:30Z)
• ASIF: Coupled Data Turns Unimodal Models to Multimodal Without Training [29.240131406803794]
  単一のドメインエンコーダとより少ない画像テキストペアを用いて、トレーニングを一切行わずに共通空間を作成することができることを示す。 私たちのモデルにはユニークな特性があり、特に注目すべきは、新しいバージョンをデプロイして、更新されたトレーニングサンプルを数秒で実行できることです。
  論文  参考訳（メタデータ） (2022-10-04T16:56:22Z)
• i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
  i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。 システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。 実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
  論文  参考訳（メタデータ） (2022-05-03T23:38:50Z)
• Leveraging Uni-Modal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition [23.239078852797817]
  マルチモーダル音声視覚音声認識(AVSR)の推進に一様自己教師型学習を活用する。 特に、私たちはまず大規模なユニモーダルデータセットでオーディオとビジュアルエンコーダをトレーニングし、その後、両方のエンコーダのコンポーネントをより大きなマルチモーダルフレームワークに統合します。 本モデルは,単語レベルと文レベルの両方のAVSRタスクに対して実験的に検証される。
  論文  参考訳（メタデータ） (2022-02-24T15:12:17Z)
• Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval [80.7397409377659]
  大規模画像と映像キャプションの両方のデータセットを利用した,エンドツーエンドのトレーニング可能なモデルを提案する。 私たちのモデルは柔軟で、画像とビデオの両方のテキストデータセットで、独立に、または同時にトレーニングできます。 この手法は,標準ダウンストリームビデオリトライバルベンチマークにおいて最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-01T17:48:27Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。