論文の概要: From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings

• arxiv url: http://arxiv.org/abs/2611.00172v1
• Date: Fri, 30 Oct 2026 14:07:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.385288
• Title: From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
• Title（参考訳）: フラクメンテーションからフュージョンへ:Omnimodal Embedddingsの調査とロードマップ
• Abstract要約: 埋め込みモデルは、ほぼすべての現代のAIシステムを支える。 埋め込みモデルの研究は、モダリティによって断片化されている。 この断片化が深い収束を曖昧にすると主張する。
• 参考スコア（独自算出の注目度）: 31.34726377628029
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Embedding models underpin virtually every modern AI system, from search engines to recommendation systems. Despite shared mathematical foundations, research on embedding models remains fragmented by modality: the communities develop largely in isolation, seldom exchanging insights. We argue that this fragmentation obscures a deeper convergence. Driven by contrastive learning, Transformer architectures, and a granularity shift, embedding research across modalities is converging toward a common set of principles, even as modality-specific challenges remain underexplored. To reason across this convergence without conflating it, we propose a framework of three progressively harder capabilities: coverage, comparability, and compositionality. Three paths toward unification satisfy these in turn: transformation broadens coverage, alignment enables comparability, and joint embedding, the terminus we advocate, aims at compositionality. This position paper traces the resulting evolution, providing the first unified, cross-cutting treatment of omnimodal embedding research.
• Abstract（参考訳）: 埋め込みモデルは、検索エンジンからレコメンデーションシステムまで、ほぼすべての現代のAIシステムを支える。 数学的基盤が共有されているにもかかわらず、埋め込みモデルの研究はモダリティによって断片化され続けている。 この断片化が深い収束を曖昧にすると主張する。 対照的な学習、トランスフォーマーアーキテクチャ、そして粒度のシフトによって駆動される、モダリティにまたがる研究を組み込むことは、モダリティ固有の課題が未解決のままであるとしても、共通の原則のセットに向かって収束している。 この収束を混乱させることなく推理するため、包括性、可視性、構成性という3つのより難しい能力の枠組みを提案する。 変換はカバー範囲を広げ、アライメントはコンパラビリティを実現する。 この位置紙は、得られた進化を辿り、オムニモーダル埋め込み研究の最初の統一的横断的処理を提供する。

関連論文リスト

• From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning [126.2308206954491]
  本調査では,効率的なマルチモーダル学習のためのモデル・ツー・システム分類を初めて導入した。 我々は300を超える精巧な作品から3つの階層的なレベル – モデル,アルゴリズム,システム – への洞察を抽出し,アーキテクチャのパーシモニー,実行の洗練,ハードウェア対応のオーケストレーションを行う。
  論文  参考訳（メタデータ） (2026-09-16T21:27:22Z)
• Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis [41.310321156046165]
  我々は、この分離をアーキテクチャ上の先行として強制するマルチモーダルLM融合スキームである textbfSeRIn (textbfSegregate, textbfRefine, textbfIntegrate) を提案する。 モダリティ特異的な進化表現は、それぞれそれぞれのエンコーダコンテキストに対して洗練されている。 専用のクロスモーダル経路は、単潮流を汚染することなく共同進化を蓄積する。
  論文  参考訳（メタデータ） (2026-07-14T12:13:53Z)
• RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities [34.35941675436447]
  RePercENTは、2つのモダリティを超えて、スケーラブルなペアワイズ・アンタングルをアンロックするように設計された、自己管理型のフレームワークである。 提案手法は, 事前抽出した埋め込みを直接操作し, 広範囲なジョイント・プレトレーニングの必要性を解消する。 さまざまなモダリティやタスクにわたって、RePercENTは、競合性能を維持しながら、アンタングルされたコンポーネントの回復に成功した。
  論文  参考訳（メタデータ） (2026-06-03T17:10:39Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities [52.189426539304065]
  本稿では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを提案する。 モーダリティ固有のスタイルを明示的に分離することにより,MAFは必須かつ非モーダルな潜在フォージェリー知識を正確に抽出する。
  論文  参考訳（メタデータ） (2026-04-09T03:35:21Z)
• Council Mode: Mitigating Hallucination and Bias in LLMs via Multi-Agent Consensus [11.49727358706339]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる優れた機能を実現している。 LLMはしばしば幻覚に悩まされ、もっともらしいが事実的に誤った内容を生み出す。 本稿では,新しいマルチエージェント・コンセンサス・フレームワークであるカウンシル・モードを提案する。 我々は、このアーキテクチャをオープンソースのAIワークスペースで実装し、評価する。
  論文  参考訳（メタデータ） (2026-04-03T09:40:43Z)
• Unsafe by Reciprocity: How Generation-Understanding Coupling Undermines Safety in Unified Multimodal Models [53.41258113970795]
  統一マルチモーダルモデル(UMM)における相互機能相互性自体が脆弱性の構造的源となっているかを検討する。 相互相互作用に基づくクロスファンクショナル・ファンクショナル・エクスプロイテーションは, 理解と生成の間の双方向の相互作用を明示的に活用する, 新たな攻撃パラダイムである。
  論文  参考訳（メタデータ） (2026-03-28T16:28:39Z)
• Scaffolding Recursive Divergence and Convergence in Story Ideation [19.650585665200254]
  RevergerはAIを活用したクリエイティビティ支援ツール(CST)で、ユーザーがストーリーを変更するための概念的な方向のバリエーションを想像するのに役立つ。 分散のために、ユーザは調査対象の高レベルな方向を収集し、それらを具体的なバリエーションに合成することができる。 収束のために、ユーザは調査対象の高レベルな方向を収集し、それらを具体的なバリエーションに合成することができる。
  論文  参考訳（メタデータ） (2025-07-04T05:25:19Z)
• I$^2$MD: 3D Action Representation Learning with Inter- and Intra-modal Mutual Distillation [147.2183428328396]
  一般のモード内相互蒸留(I$2$MD)フレームワークを紹介する。 In 2$MD, we first-formulate the cross-modal interaction as a cross-modal Mutual Distillation (CMD) process。 類似したサンプルの干渉を緩和し,その基盤となるコンテキストを活用するため,モーダル・ミューチュアル蒸留(IMD)戦略をさらに設計する。
  論文  参考訳（メタデータ） (2023-10-24T07:22:17Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。