論文の概要: OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering
- arxiv url: http://arxiv.org/abs/2604.08209v1
- Date: Thu, 09 Apr 2026 13:09:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.929238
- Title: OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering
- Title（参考訳）: OmniJigsaw: Modality-Orchestrated ReorderingによるOmni-Modal Reasoningの強化
- Abstract要約: 我々は、時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。
クロスモーダル統合を強制するために、ジョイントモダリティ統合、サンプルレベルモダリティ選択、クリップレベルモダリティマスキングが使用される。
両モードのショートカット現象'を共同モダリティ統合で明らかにし,細粒度クリップレベルのモダリティマスキングがこの問題を緩和することを示した。
- 参考スコア（独自算出の注目度）: 53.30273345137238
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: To extend the reinforcement learning post-training paradigm to omni-modal models for concurrently bolstering video-audio understanding and collaborative reasoning, we propose OmniJigsaw, a generic self-supervised framework built upon a temporal reordering proxy task. Centered on the chronological reconstruction of shuffled audio-visual clips, this paradigm strategically orchestrates visual and auditory signals to compel cross-modal integration through three distinct strategies: Joint Modality Integration, Sample-level Modality Selection, and Clip-level Modality Masking. Recognizing that the efficacy of such proxy tasks is fundamentally tied to puzzle quality, we design a two-stage coarse-to-fine data filtering pipeline, which facilitates the efficient adaptation of OmniJigsaw to massive unannotated omni-modal data. Our analysis reveals a ``bi-modal shortcut phenomenon'' in joint modality integration and demonstrates that fine-grained clip-level modality masking mitigates this issue while outperforming sample-level modality selection. Extensive evaluations on 15 benchmarks show substantial gains in video, audio, and collaborative reasoning, validating OmniJigsaw as a scalable paradigm for self-supervised omni-modal learning.
- Abstract（参考訳）: ビデオ音声理解と協調推論を同時に促進するオムニモーダルモデルに強化学習後パラダイムを拡張するために,時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。
シャッフルされた映像クリップの時間的再構成を中心に、このパラダイムは視覚信号と聴覚信号を戦略的に編成し、ジョイント・モダリティ・インテグレーション、サンプルレベル・モダリティ・セレクション、クリップレベル・モダリティ・マスキングの3つの戦略を通じて、クロスモーダル統合を強制する。
このようなプロキシタスクの有効性がパズルの品質に根本的に結びついていることを認識し、OmniJigsawの大規模な無注釈オムニモーダルデータへの効率的な適応を容易にする2段階の粗いデータフィルタリングパイプラインを設計する。
両モードのショートカット現象」を共同モダリティ統合において明らかにし, 細粒度なクリップレベルのモダリティマスキングは, サンプルレベルのモダリティ選択よりも優れており, この問題を緩和することを示した。
15のベンチマークによる大規模な評価では、ビデオ、オーディオ、協調推論が大幅に向上し、OmniJigsawを自己教師型オムニモーダル学習のスケーラブルなパラダイムとして検証している。
関連論文リスト
- Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation [93.44732526074876]
複数のアイデンティティの正確なバインディングとシームレスな融合を目的としたエンドツーエンドフレームワークを提案する。
本アーキテクチャでは,セマンティックアンコール型マルチモーダルロ (SA-MRo) を用いて,視覚的および音声的参照トークンとTS埋め込みを対応する意味記述に固定する。
実験により、Omni-Contextはデュアルモーダルなカスタマイズ生成において最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-05-17T14:56:52Z) - OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation [60.95158352332569]
近年のジョイント・オーディオ・ビデオ・ジェネレーションの進歩は、モダリティ毎の忠実度、クロスモーダルアライメント、きめ細かい同期を強く要求している。
これらの欠点は、単一のグローバルな優位性を持つバニラRL微調整戦略が、しばしば準最適結果をもたらすことを示唆している。
提案するOmniNFTは,新しいモダリティ対応オンライン拡散RLフレームワークである。
論文 参考訳（メタデータ） (2026-05-12T17:56:59Z) - OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。
提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
論文 参考訳（メタデータ） (2026-03-02T17:19:55Z) - Apollo: Unified Multi-Task Audio-Video Joint Generation [15.004783109205666]
非商業的アプローチは、音声・視覚的非同期性、唇・音声のアライメントの低さ、そして一過性の劣化に悩まされている。
モデルアーキテクチャ、トレーニング戦略、データキュレーションの3つにApolloとDelveを導入します。
データセットについては,大容量キャプションを用いた最初の大規模オーディオビデオデータセットを提示する。
論文 参考訳（メタデータ） (2026-01-07T18:03:45Z) - AV-Master: Dual-Path Comprehensive Perception Makes Better Audio-Visual Question Answering [33.971153351649754]
本稿では,AV-Master という新しいフレームワークを提案する。
複雑なオーディオ映像シーンから重要な情報を抽出する能力を高める。
4つの大規模なベンチマーク実験により、AV-Masterは既存の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2025-10-21T06:58:34Z) - Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models [35.86252379746625]
本研究の目的は、音声・視覚大言語モデル(AV-LLM)におけるバランスの取れたマルチモーダル理解を強化することである。
現在のAV-LLMでは、オーディオとビデオの機能はデコーダで共同で処理されるのが一般的である。
Fork-Merge Decoding (FMD) は、追加のトレーニングやアーキテクチャの変更を必要としない、シンプルで効果的な推論時間戦略である。
論文 参考訳（メタデータ） (2025-05-27T08:22:56Z) - AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。
本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
論文 参考訳（メタデータ） (2025-04-06T13:59:16Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Unified Multi-modal Unsupervised Representation Learning for
Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。
我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。
UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文 参考訳（メタデータ） (2023-11-06T13:56:57Z) - Multimodal Variational Auto-encoder based Audio-Visual Segmentation [46.67599800471001]
ECMVAEは、各モダリティの表現をモダリティ共有表現とモダリティ固有表現で分解する。
当社のアプローチでは,3.84mIOUの性能向上を図りながら,音声・視覚的セグメンテーションのための新たな最先端技術が実現されている。
論文 参考訳（メタデータ） (2023-10-12T13:09:40Z) - An Efficient End-to-End Transformer with Progressive Tri-modal Attention
for Multi-modal Emotion Recognition [27.96711773593048]
本稿では,マルチモーダル・エンド・ツー・エンド・トランス (ME2ET) を提案する。
低レベルにおいては、2パス戦略を採用することで、3モーダルな特徴相互作用をモデル化できるプログレッシブ・トリモーダル・アテンションを提案する。
高いレベルでは、3つのモーダルのセマンティック表現を明示的に集約する三モーダル特徴融合層を導入する。
論文 参考訳（メタデータ） (2022-09-20T14:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。