論文の概要: Syn-Omni: Structured Specialization and Progressive Collaboration for Omnimodal Embeddings

• arxiv url: http://arxiv.org/abs/2610.12256v1
• Date: Thu, 08 Oct 2026 16:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.182027
• Title: Syn-Omni: Structured Specialization and Progressive Collaboration for Omnimodal Embeddings
• Title（参考訳）: Syn-Omni:Omnimodal Embeddingsにおける構造的特殊化とプログレッシブコラボレーション
• Abstract要約: シン・オムニ(Syn-Omni)は、モダリティの特殊化とクロスモーダルの協調による構造的一様適応のための統一的なフレームワークである。 OME-LoRAは、共通意味論とモダリティに精通したLoRAパスのための共通LoRAパスへの適応を分解する。 プログレッシブ・シナジー・ルーティング(PSR)は、専門家がまずモダリティ固有の先行性を確立し、その後、クロスモーダル・シナジーのための他のモダリティ・エキスパートと対話することを可能にする。
• 参考スコア（独自算出の注目度）: 35.38147271516657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omnimodal embeddings naturally involve both shared representations and modality-specific features across heterogeneous inputs. However, existing omnimodal embedding methods often rely on a single shared parameter space over mixed-modality data, limiting structural separation between universal and modality-specific representations. To address this, we propose Syn-Omni, a unified framework for structured omnimodal adaptation with modality specialization and controlled cross-modal collaboration. Specifically, we introduce Orthogonal Modality-Expert LoRA (OME-LoRA), which decomposes adaptation into a shared LoRA path for universal semantics and modality-expert LoRA paths for modality-aware specialization. Furthermore, Progressive Synergy Routing (PSR) enables experts to first establish modality-specific priors, then gradually interact with other modality-experts for cross-modal synergy. Evaluated across 81 diverse tasks spanning image, video, audio, and audiovisual modalities, Syn-Omni consistently outperforms omnimodal baselines, demonstrating the effectiveness of structured specialization and cross-modal progressive collaboration.
• Abstract（参考訳）: Omnimodal Embeddings は自然に異種入力間の共有表現とモダリティ固有の特徴の両方を包含する。 しかし、既存の全モジュラー埋め込み法は、しばしば混合モダリティデータよりも単一の共有パラメータ空間に依存し、普遍表現とモダリティ固有表現の間の構造的分離を制限する。 そこで本研究では,モダリティの専門化とクロスモーダル協調制御による一様適応のための統合フレームワークであるSyn-Omniを提案する。 具体的には,Orthogonal Modality-Expert LoRA (OME-LoRA)を導入し,共通意味論とモダリティを意識した特殊化のための共通LoRAパスに適応を分解する。 さらに、プログレッシブ・シナジー・ルーティング (PSR) は、専門家がまずモダリティ固有の先行性を確立し、その後、クロスモーダル・シナジーのための他のモダリティ・エキスパートと徐々に相互作用することを可能にする。 Syn-Omniは、画像、ビデオ、オーディオ、オーディオヴィジュアルのモダリティにまたがる81の多様なタスクで評価され、構造化された特殊化とクロスモーダルなプログレッシブなコラボレーションの有効性を実証し、ムニモーダルベースラインを一貫して上回っている。

関連論文リスト

• Orchestra-o1: Omnimodal Agent Orchestration [72.34907006336108]
  Orchestra-o1は、複数のモダリティをまたいだ効率的なエージェントコラボレーションをサポートするように設計された、オムニモーダルなエージェントオーケストレーションフレームワークである。 本研究は,モダリティを意識したタスクの分解,オンラインサブエージェントの特殊化,並列サブタスク実行を可能にする統一的なオーケストレーション機構を導入する。 このスケーラブルな設計により、エージェントシステムは異種情報ソースを含む複雑な現実世界のタスクに効果的に取り組むことができ、OmniGAIAベンチマークの精度は10.3%向上した。
  論文  参考訳（メタデータ） (2026-06-10T04:50:35Z)
• Cross-Modal-Domain Generalization Through Semantically Aligned Discrete Representations [4.67724003380452]
  マルチモーダル学習は、様々な感覚源にまたがる情報の統合を目指している。 現在のアプローチは、モダリティ固有の構造とクロスモーダル一般化可能性のバランスをとるのに苦労している。 我々は、モダリティ固有のコードブック間のセマンティックコンセンサスを確立する新しいフレームワークであるCoDAARを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T14:03:30Z)
• Modality-Collaborative Low-Rank Decomposers for Few-Shot Video Domain Adaptation [74.16390314862801]
  FSVDA(Few-Shot Video Domain Adaptation)の課題について検討する。 モダリティ・ユニクティック・モダリティ・共有特徴を分解するために,モダリティ・コラボレーティブ・ローランク・デコンポスタ(MC-LRD)の新たなフレームワークを導入する。 我々のモデルは既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-11-24T03:09:59Z)
• CHARM: Collaborative Harmonization across Arbitrary Modalities for Modality-agnostic Semantic Segmentation [44.48226146116737]
  Modality-Agnostic Semantic (MaSS) は入力モダリティの任意の組み合わせにまたがる堅牢なシーン理解の実現を目的としている。 我々は、モダリティに特有な利点を保ちつつ、暗黙的にコンテンツをアライメントする新しい補完学習フレームワークであるCHARMを提案する。
  論文  参考訳（メタデータ） (2025-08-05T04:10:51Z)
• BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation [55.486872677160015]
  マスクレベルの分類タスクとしてマルチモーダルなセマンティックセグメンテーションを再構成する。 統一モダリティマッチング(UMM)とクロスモダリティアライメント(CMA)を統合したBiXFormerを提案する。 合成および実世界のマルチモーダルベンチマーク実験により,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-04T08:04:58Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Cross-modality Person re-identification with Shared-Specific Feature Transfer [112.60513494602337]
  クロスモダリティの人物再識別(cm-ReID)は、インテリジェントビデオ分析において難しいが重要な技術である。 モーダリティ共有型特徴伝達アルゴリズム (cm-SSFT) を提案し, モーダリティ共有型情報とモーダリティ固有特性の両方のポテンシャルについて検討する。
  論文  参考訳（メタデータ） (2020-02-28T00:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。