論文の概要: From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning

• arxiv url: http://arxiv.org/abs/2609.19445v1
• Date: Wed, 16 Sep 2026 21:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.017828
• Title: From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning
• Title（参考訳）: モデルからシステムへ:効率的なマルチモーダル学習の包括的調査
• Abstract要約: 本調査では,効率的なマルチモーダル学習のためのモデル・ツー・システム分類を初めて導入した。 我々は300を超える精巧な作品から3つの階層的なレベル – モデル,アルゴリズム,システム – への洞察を抽出し,アーキテクチャのパーシモニー,実行の洗練,ハードウェア対応のオーケストレーションを行う。
• 参考スコア（独自算出の注目度）: 126.2308206954491
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The rapid expansion of multimodal models has surfaced formidable bottlenecks in computation, memory, and deployment, catalyzing the rise of Efficient Multimodal Learning (EML) as a pivotal research frontier. Despite intensive progress, a cohesive understanding of what, how, and where efficiency is manifested across the learning stack remains fragmented. This survey systematizes the EML landscape by introducing the first structured, model-to-system taxonomy. We distill insights from over 300 seminal works into three hierarchical levels--model, algorithm, and system--addressing architectural parsimony, execution refinement, and hardware-aware orchestration, respectively. Moving beyond a purely categorical review, we offer a methodological synthesis of the vertical synergies between these layers, elucidating how cross-layer co-design contributes to the fundamental "Efficiency-Utility-Privacy" trade-off. Through an integrative case study of Multimodal Large Language Models (MLLMs), we trace the field's evolutionary trajectory from initial structural adjustments to modern full-stack resource orchestration. Furthermore, we provide a holistic discussion and application-specific optimization blueprints for diverse domains and posit a paradigm shift toward self-regulating intelligence, where efficiency is an intrinsic, emergent property of the model's fundamental design rather than a post-hoc constraint. Finally, we present open challenges and future directions that will define the trajectory of EML research. This survey establishes a structured framework for multimodal systems that are not only high-performing and generalizable but natively efficient and ready for ubiquitous deployment. A continuously updated version is available at https://github.com/pwang322/Efficient-Multimodal-Learning-Survey.
• Abstract（参考訳）: マルチモーダルモデルの急速な拡張は、計算、メモリ、デプロイメントにおける重大なボトルネックを表面化し、重要な研究フロンティアとしての効率的なマルチモーダルラーニング(EML)の台頭を触媒している。 急激な進歩にもかかわらず、学習スタック全体で何が、どのように、どのように、どこで効率を示すかという結束的な理解は、まだ断片化されています。 この調査は、最初の構造化されたモデル・ツー・システム分類を導入することで、EMLの景観を体系化する。 我々は300を超える精巧な作品から3つの階層的なレベル – モデル,アルゴリズム,システム – への洞察を抽出し,アーキテクチャのパーシモニー,実行の洗練,ハードウェア対応のオーケストレーションを行う。 純粋に分類学的レビューを超えて、我々はこれらの層間の垂直な相乗効果の方法論的合成を提供し、層間共設計が基本的な「効率-実用-プライバシー」トレードオフにどのように貢献するかを解明する。 MLLM(Multimodal Large Language Models)の総合的なケーススタディを通じて、初期構造調整から現代のフルスタックリソースオーケストレーションまで、フィールドの進化軌道を辿る。 さらに、様々な領域に対する総合的な議論とアプリケーション固有の最適化の青写真を提供し、効率がポストホック制約ではなくモデルの基本設計の本質的で創発的な性質である自己制御知性へのパラダイムシフトを実証する。 最後に、EML研究の軌跡を定義するためのオープンな課題と今後の方向性を示す。 本調査は,高性能で汎用性の高いだけでなく,ネイティブに効率よく,ユビキタスな展開が可能なマルチモーダルシステムのための構造化されたフレームワークを構築した。 継続的に更新されたバージョンはhttps://github.com/pwang322/Efficient-Multimodal-Learning-Surveyで入手できる。

関連論文リスト

• Toward Native Multimodal Modeling: A Roadmap [73.2994129763275]
  マルチモーダルモデリングは、モダリティに依存しない推論から世界モデリングへの重要なステップである。 近年の取り組みは、パラダイムをネイティブなマルチモーダルモデリングへとシフトさせてきた。 その可能性にもかかわらず、ネイティブアーキテクチャの設計空間は未だ十分に定義されていない。
  論文  参考訳（メタデータ） (2026-05-25T01:57:43Z)
• Model Merging in the Era of Large Language Models: Methods, Applications, and Future Directions [19.95776080082138]
  本調査は,モデル統合を進めるための構造的基盤を研究者や実践者に提供することを目的としている。 まず、損失ランドスケープ形状、モード接続性、線形モード接続性仮説など、マージの理論的基盤を確立する。 次に、アルゴリズムのランドスケープを体系的にレビューし、平均ウェイト、タスクベクトル算術、スパーシフィケーション強化手法、ミックス・オブ・エキスパートアーキテクチャ、進化的最適化アプローチについて述べる。
  論文  参考訳（メタデータ） (2026-03-10T17:31:55Z)
• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• MindGPT-4ov: An Enhanced MLLM via a Multi-Stage Post-Training Paradigm [25.7631608456086]
  MindGPT-4ovは、データ生産、モデルトレーニング、効率的なデプロイメントにまたがる一般的なポストトレーニングパラダイムである。 複数のベンチマークにまたがって、最先端のパフォーマンスを低コストで達成する。 MindGPT-4ovは垂直ドメインタスクにおいて優れたユーザエクスペリエンスを示す。
  論文  参考訳（メタデータ） (2025-12-02T16:04:11Z)
• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
  大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。 トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。 従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
  論文  参考訳（メタデータ） (2025-08-13T14:13:46Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。