論文の概要: OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering

• arxiv url: http://arxiv.org/abs/2604.08209v1
• Date: Thu, 09 Apr 2026 13:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.929238
• Title: OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering
• Title（参考訳）: OmniJigsaw: Modality-Orchestrated ReorderingによるOmni-Modal Reasoningの強化
• Authors: Yiduo Jia, Muzhi Zhu, Hao Zhong, Mingyu Liu, Yuling Xi, Hao Chen, Bin Qin, Yongjie Yang, Zhenbo Luo, Chunhua Shen,
• Abstract要約: 我々は、時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。 クロスモーダル統合を強制するために、ジョイントモダリティ統合、サンプルレベルモダリティ選択、クリップレベルモダリティマスキングが使用される。 両モードのショートカット現象'を共同モダリティ統合で明らかにし,細粒度クリップレベルのモダリティマスキングがこの問題を緩和することを示した。
• 参考スコア（独自算出の注目度）: 53.30273345137238
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To extend the reinforcement learning post-training paradigm to omni-modal models for concurrently bolstering video-audio understanding and collaborative reasoning, we propose OmniJigsaw, a generic self-supervised framework built upon a temporal reordering proxy task. Centered on the chronological reconstruction of shuffled audio-visual clips, this paradigm strategically orchestrates visual and auditory signals to compel cross-modal integration through three distinct strategies: Joint Modality Integration, Sample-level Modality Selection, and Clip-level Modality Masking. Recognizing that the efficacy of such proxy tasks is fundamentally tied to puzzle quality, we design a two-stage coarse-to-fine data filtering pipeline, which facilitates the efficient adaptation of OmniJigsaw to massive unannotated omni-modal data. Our analysis reveals a ``bi-modal shortcut phenomenon'' in joint modality integration and demonstrates that fine-grained clip-level modality masking mitigates this issue while outperforming sample-level modality selection. Extensive evaluations on 15 benchmarks show substantial gains in video, audio, and collaborative reasoning, validating OmniJigsaw as a scalable paradigm for self-supervised omni-modal learning.
• Abstract（参考訳）: ビデオ音声理解と協調推論を同時に促進するオムニモーダルモデルに強化学習後パラダイムを拡張するために,時間的順序付けプロキシタスクに基づいて構築された汎用的な自己教師型フレームワークであるOmniJigsawを提案する。 シャッフルされた映像クリップの時間的再構成を中心に、このパラダイムは視覚信号と聴覚信号を戦略的に編成し、ジョイント・モダリティ・インテグレーション、サンプルレベル・モダリティ・セレクション、クリップレベル・モダリティ・マスキングの3つの戦略を通じて、クロスモーダル統合を強制する。 このようなプロキシタスクの有効性がパズルの品質に根本的に結びついていることを認識し、OmniJigsawの大規模な無注釈オムニモーダルデータへの効率的な適応を容易にする2段階の粗いデータフィルタリングパイプラインを設計する。 両モードのショートカット現象」を共同モダリティ統合において明らかにし, 細粒度なクリップレベルのモダリティマスキングは, サンプルレベルのモダリティ選択よりも優れており, この問題を緩和することを示した。 15のベンチマークによる大規模な評価では、ビデオ、オーディオ、協調推論が大幅に向上し、OmniJigsawを自己教師型オムニモーダル学習のスケーラブルなパラダイムとして検証している。

関連論文リスト

• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• Apollo: Unified Multi-Task Audio-Video Joint Generation [15.004783109205666]
  非商業的アプローチは、音声・視覚的非同期性、唇・音声のアライメントの低さ、そして一過性の劣化に悩まされている。 モデルアーキテクチャ、トレーニング戦略、データキュレーションの3つにApolloとDelveを導入します。 データセットについては,大容量キャプションを用いた最初の大規模オーディオビデオデータセットを提示する。
  論文  参考訳（メタデータ） (2026-01-07T18:03:45Z)
• Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models [35.86252379746625]
  本研究の目的は、音声・視覚大言語モデル(AV-LLM)におけるバランスの取れたマルチモーダル理解を強化することである。 現在のAV-LLMでは、オーディオとビデオの機能はデコーダで共同で処理されるのが一般的である。 Fork-Merge Decoding (FMD) は、追加のトレーニングやアーキテクチャの変更を必要としない、シンプルで効果的な推論時間戦略である。
  論文  参考訳（メタデータ） (2025-05-27T08:22:56Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。