論文の概要: Connector-S: A Survey of Connectors in Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2502.11453v1
• Date: Mon, 17 Feb 2025 05:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:37.887247
• Title: Connector-S: A Survey of Connectors in Multi-modal Large Language Models
• Title（参考訳）: Connector-S: マルチモーダル大言語モデルにおけるコネクタの調査
• Authors: Xun Zhu, Zheng Zhang, Xi Chen, Yiming Shi, Miao Li, Ji Wu,
• Abstract要約: コネクタは多様なモダリティをブリッジし、モデルパフォーマンスを向上させる上で重要な役割を担います。 MLLMにおけるコネクタの現況を体系的にレビューし,コネクタをアトミックな操作に分類する構造的分類法を提案する。 本稿では,高解像度入力,動的圧縮,ガイド情報の選択,組み合わせ戦略,解釈可能性など,有望な研究フロンティアと課題について論じる。
• 参考スコア（独自算出の注目度）: 22.64360882896763
• License:
• Abstract: With the rapid advancements in multi-modal large language models (MLLMs), connectors play a pivotal role in bridging diverse modalities and enhancing model performance. However, the design and evolution of connectors have not been comprehensively analyzed, leaving gaps in understanding how these components function and hindering the development of more powerful connectors. In this survey, we systematically review the current progress of connectors in MLLMs and present a structured taxonomy that categorizes connectors into atomic operations (mapping, compression, mixture of experts) and holistic designs (multi-layer, multi-encoder, multi-modal scenarios), highlighting their technical contributions and advancements. Furthermore, we discuss several promising research frontiers and challenges, including high-resolution input, dynamic compression, guide information selection, combination strategy, and interpretability. This survey is intended to serve as a foundational reference and a clear roadmap for researchers, providing valuable insights into the design and optimization of next-generation connectors to enhance the performance and adaptability of MLLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の急速な進歩により、コネクタは多様なモダリティをブリッジし、モデル性能を向上させる上で重要な役割を担っている。 しかし、コネクタの設計と進化は包括的に分析されておらず、これらのコンポーネントがどのように機能し、より強力なコネクタの開発を妨げるかを理解するのにギャップが残されている。 本稿では,MLLMにおけるコネクタの現況を体系的にレビューし,コネクタをアトミックな操作(マッピング,圧縮,専門家の混在)と全体的設計(多層,マルチエンコーダ,マルチモーダルシナリオ)に分類し,その技術的貢献と進歩を強調した構造的分類について述べる。 さらに,高分解能入力,動的圧縮,ガイド情報の選択,組み合わせ戦略,解釈可能性など,有望な研究フロンティアと課題について論じる。 この調査は、MLLMの性能と適応性を高めるため、次世代コネクタの設計と最適化に関する貴重な洞察を提供する、研究者の基本的な基準と明確なロードマップとして機能することを目的としている。

関連論文リスト

• Beyond Self-Talk: A Communication-Centric Survey of LLM-Based Multi-Agent Systems [11.522282769053817]
  大規模言語モデル(LLM)は、最近、推論、計画、意思決定において顕著な能力を示した。 研究者はLLMをマルチエージェントシステムに組み込んで、単一エージェント設定の範囲を超えてタスクに取り組むようになった。 この調査はさらなるイノベーションの触媒として機能し、より堅牢でスケーラブルでインテリジェントなマルチエージェントシステムを促進する。
  論文  参考訳（メタデータ） (2025-02-20T07:18:34Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• To Preserve or To Compress: An In-Depth Study of Connector Selection in Multimodal Large Language Models [11.13176491856196]
  本稿では,コネクタがマルチモーダル大言語モデル(MLLM)の性能に与える影響を系統的に検討する。 コネクタを特徴保存型と特徴圧縮型に分類する。 本研究は,視覚情報の詳細な保持能力により,細粒度認知タスクにおいて,特徴保存コネクタが優れていることを明らかにした。 対照的に、機能圧縮コネクタは、きめ細かな知覚タスクでは効果が低いが、顕著な速度優位性を提供し、きめ細かな知覚タスクや強調タスクでは相容れない。
  論文  参考訳（メタデータ） (2024-10-09T10:53:18Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• From Efficient Multimodal Models to World Models: A Survey [28.780451336834876]
  マルチモーダル大規模モデル(MLM)は、強力な言語モデルとマルチモーダル学習を組み合わせた重要な研究対象となっている。 このレビューでは、人工知能の実現におけるその可能性を強調し、大規模指導における最新の発展と課題について考察する。
  論文  参考訳（メタデータ） (2024-06-27T15:36:43Z)
• LLMs Meet Multimodal Generation and Editing: A Survey [89.76691959033323]
  本調査では,画像,ビデオ,3D,オーディオなど,さまざまな領域にわたるマルチモーダル生成と編集について詳述する。 これらの分野でのマイルストーンの成果を要約し、これらの研究をLLM法とCLIP/T5法に分類する。 我々は、既存の生成モデルを人間とコンピュータの相互作用に活用できるツール強化マルチモーダルエージェントを掘り下げる。
  論文  参考訳（メタデータ） (2024-05-29T17:59:20Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。