論文の概要: Audio-Enhanced Vision-Language Modeling with Latent Space Broadening for High Quality Data Expansion

• arxiv url: http://arxiv.org/abs/2503.17551v1
• Date: Fri, 21 Mar 2025 21:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:20.542142
• Title: Audio-Enhanced Vision-Language Modeling with Latent Space Broadening for High Quality Data Expansion
• Title（参考訳）: 高品質データ拡張のための潜時空間拡張による音声強調ビジョンランゲージモデリング
• Authors: Yu Sun, Yin Li, Ruixiao Sun, Chunhui Liu, Fangming Zhou, Ze Jin, Linjie Wang, Xiang Shen, Zhuolin Hao, Hongyu Xiong,
• Abstract要約: トランスフォーマーベースのマルチモーダルモデルは、産業規模のレコメンデーション、検索、広告システムで広く使われている。 AL効率とVLMAEを用いた視覚言語モデリングを実現するため,kNNを用いたLatent Space Broadening (LSB)を提案する。 このシステムはプロダクションシステムにデプロイされ、大きなビジネス上の利益をもたらしました。
• 参考スコア（独自算出の注目度）: 12.212623921747264
• License:
• Abstract: Transformer-based multimodal models are widely used in industrial-scale recommendation, search, and advertising systems for content understanding and relevance ranking. Enhancing labeled training data quality and cross-modal fusion significantly improves model performance, influencing key metrics such as quality view rates and ad revenue. High-quality annotations are crucial for advancing content modeling, yet traditional statistical-based active learning (AL) methods face limitations: they struggle to detect overconfident misclassifications and are less effective in distinguishing semantically similar items in deep neural networks. Additionally, audio information plays an increasing role, especially in short-video platforms, yet most pre-trained multimodal architectures primarily focus on text and images. While training from scratch across all three modalities is possible, it sacrifices the benefits of leveraging existing pre-trained visual-language (VL) and audio models. To address these challenges, we propose kNN-based Latent Space Broadening (LSB) to enhance AL efficiency and Vision-Language Modeling with Audio Enhancement (VLMAE), a mid-fusion approach integrating audio into VL models. This system deployed in production systems, leading to significant business gains.
• Abstract（参考訳）: トランスフォーマーベースのマルチモーダルモデルは、コンテンツ理解と関連性ランキングのための産業規模のレコメンデーション、検索、広告システムで広く利用されている。 ラベル付きトレーニングデータ品質とクロスモーダルフュージョンの強化はモデルパフォーマンスを著しく向上させ、品質ビューレートや広告収益といった重要な指標に影響を与える。 高品質なアノテーションは、コンテンツモデリングの推進に不可欠であるが、従来の統計ベースのアクティブラーニング(AL)メソッドは、過度に信頼された誤分類を検出するのに苦労し、ディープニューラルネットワークにおける意味論的に類似した項目の識別にあまり効果がないため、制限に直面している。 さらに、音声情報は、特にショートビデオプラットフォームでは、その役割を担っているが、事前訓練されたほとんどのマルチモーダルアーキテクチャは、主にテキストと画像に焦点を当てている。 3つのモードをすべてスクラッチからトレーニングすることは可能だが、既存のトレーニング済みビジュアル言語(VL)とオーディオモデルを活用するメリットを犠牲にしている。 これらの課題に対処するため,我々は,音声をVLモデルに組み込む中融合アプローチであるAL効率向上のためのkNNベースのLatent Space Broadening (LSB)を提案し,VLMAE(Vision-Language Modeling with Audio Enhancement)を提案する。 このシステムはプロダクションシステムにデプロイされ、大きなビジネス上の利益をもたらしました。

関連論文リスト

• Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement [36.136070412464214]
  音声強調(SE)は,雑音の多い音声の品質向上を目的としている。 本稿では,SEのための新しいマルチモーダリティ学習フレームワークを提案する。 提案するAVSEシステムは,音声品質を著しく向上し,生成成果物を低減できることを示す。
  論文  参考訳（メタデータ） (2025-01-23T04:36:29Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
  HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。 我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
  論文  参考訳（メタデータ） (2024-10-12T06:22:23Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Leveraging Uni-Modal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition [23.239078852797817]
  マルチモーダル音声視覚音声認識(AVSR)の推進に一様自己教師型学習を活用する。 特に、私たちはまず大規模なユニモーダルデータセットでオーディオとビジュアルエンコーダをトレーニングし、その後、両方のエンコーダのコンポーネントをより大きなマルチモーダルフレームワークに統合します。 本モデルは,単語レベルと文レベルの両方のAVSRタスクに対して実験的に検証される。
  論文  参考訳（メタデータ） (2022-02-24T15:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。