論文の概要: Investigating and Enhancing Vision-Audio Capability in Omnimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2503.00059v1
• Date: Thu, 27 Feb 2025 02:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:25.482228
• Title: Investigating and Enhancing Vision-Audio Capability in Omnimodal Large Language Models
• Title（参考訳）: Omnimodal Large Language Modelにおけるビジョン・オーディオ機能の検討と強化
• Authors: Rui Hu, Delai Qiu, Shuyu Wei, Jiaming Zhang, Yining Wang, Shengping Liu, Jitao Sang,
• Abstract要約: 本稿では,OLLMの視覚テキストコンポーネントが教師として,視覚音声コンポーネントが学生として機能する自己知識蒸留(Self-KD)トレーニング手法を提案する。 実験結果から,自己KDはOLLMの視覚音響能力を高める有効な方法であることが示された。
• 参考スコア（独自算出の注目度）: 20.210120763433167
• License:
• Abstract: Omnimodal Large Language Models (OLLMs) have shown significant progress in integrating vision and text, but still struggle with integrating vision and audio, often exhibiting suboptimal performance when processing audio queries compared to text queries. This disparity is primarily due to insufficient alignment between vision and audio modalities during training, leading to inadequate attention to visual information when using audio queries. To mitigate this issue, we propose a Self-Knowledge Distillation (Self-KD) training method where the vision-text component of the OLLM serves as the teacher and the vision-audio component as the student. This enables the model to process audio in a manner analogous to its text processing. Our experimental results demonstrate that Self-KD is an effective method for enhancing the vision-audio capabilities of OLLMs by learning from the vision-text components, which subsequently improves the interaction between audio and images and results in improved performance on multimodal tasks.
• Abstract（参考訳）: Omnimodal Large Language Models (OLLM) は、視覚とテキストの統合において大きな進歩を見せているが、まだビジョンとオーディオの統合に苦慮している。 この格差は主に、トレーニング中に視覚とオーディオのモダリティの整合性が不十分なためであり、オーディオクエリーを使用する際には視覚情報に不適切な注意が払われる。 この問題を軽減するために,OLLMの視覚テキストコンポーネントが教師として,視覚オーディオコンポーネントが学生として機能する自己知識蒸留(Self-KD)トレーニング手法を提案する。 これにより、モデルはテキスト処理に類似した方法でオーディオを処理できる。 実験結果から,セルフKDは視覚テキストコンポーネントから学習することで,OLLMの視覚・音響能力を向上させる効果的な手法であり,音声と画像の相互作用を改善し,マルチモーダルタスクの性能を向上させることが示唆された。

関連論文リスト

• Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement [36.136070412464214]
  音声強調(SE)は,雑音の多い音声の品質向上を目的としている。 本稿では,SEのための新しいマルチモーダリティ学習フレームワークを提案する。 提案するAVSEシステムは,音声品質を著しく向上し,生成成果物を低減できることを示す。
  論文  参考訳（メタデータ） (2025-01-23T04:36:29Z)
• VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction [105.88658935310605]
  視覚情報と音声情報の両方を段階的に学習する多段階学習手法を提案する。 提案手法は, 視覚言語能力の強化だけでなく, 音声音声対話の効率向上にも寄与する。 画像, ビデオ, 音声タスクのベンチマークにおいて, 我々の手法を最先端の手法と比較することにより, モデルが強い視覚と音声の両機能を備えていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T18:59:52Z)
• NEVLP: Noise-Robust Framework for Efficient Vision-Language Pre-training [6.34265125858783]
  本稿では,事前学習の少ない視覚言語事前学習のためのノイズロバストフレームワークを提案する。 具体的には、凍結した画像エンコーダと大きな言語モデルとのモダリティギャップを変換器でブリッジする。 ノイズ適応学習と概念強化学習の2つの革新的な学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-15T01:54:17Z)
• Unsupervised Modality-Transferable Video Highlight Detection with Representation Activation Sequence Learning [7.908887001497406]
  教師なしハイライト検出のためのクロスモーダル認識を用いた新しいモデルを提案する。 提案モデルでは,自己再構成タスクを通じて,画像と音声のペアデータから視覚レベルのセマンティクスを用いて表現を学習する。 実験結果から,提案手法は,他の最先端手法と比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-03-14T13:52:03Z)
• Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
  この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。 2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。 3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-28T22:45:40Z)
• Accommodating Audio Modality in CLIP for Multimodal Processing [48.83906067348211]
  視覚言語モデルCLIPを拡張し、視覚言語モデルAudioのマルチモーダル処理におけるオーディオモダリティに対応する。 具体的には、モーダル間およびモーダル内コントラスト学習を用いて、オーディオと他のモーダル間の相関について検討する。 提案するCLIP4VLAモデルは,ビデオ検索やビデオキャプションなど,さまざまな下流タスクで検証される。
  論文  参考訳（メタデータ） (2023-03-12T06:57:01Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)
• Curriculum Audiovisual Learning [113.20920928789867]
  本稿では,ソフトクラスタリングモジュールを音響・視覚コンテンツ検出装置として導入するフレキシブル・オーディオビジュアル・モデルを提案する。 音声視覚学習の難しさを軽減するため,簡単なシーンから複雑なシーンまでモデルを訓練する新しい学習戦略を提案する。 本手法は,外的視覚的監督に言及することなく,音の分離において同等の性能を示す。
  論文  参考訳（メタデータ） (2020-01-26T07:08:47Z)
• Deep Audio-Visual Learning: A Survey [53.487938108404244]
  現在の音声・視覚学習タスクを4つのサブフィールドに分割する。 本稿では,各サブフィールドに残る課題だけでなく,最先端の手法についても論じる。 一般的に使用されるデータセットとパフォーマンスメトリクスを要約します。
  論文  参考訳（メタデータ） (2020-01-14T13:11:21Z)
• Visually Guided Self Supervised Learning of Speech Representations [62.23736312957182]
  音声視覚音声の文脈における視覚的モダリティによって導かれる音声表現を学習するためのフレームワークを提案する。 音声クリップに対応する静止画像をアニメーション化し、音声セグメントの実際の映像にできるだけ近いよう、生成した映像を最適化する。 我々は,感情認識のための技術成果と,音声認識のための競争結果を達成する。
  論文  参考訳（メタデータ） (2020-01-13T14:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。