論文の概要: MAGE: Multimodal Alignment and Generation Enhancement via Bridging Visual and Semantic Spaces

• arxiv url: http://arxiv.org/abs/2507.21741v1
• Date: Tue, 29 Jul 2025 12:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.245398
• Title: MAGE: Multimodal Alignment and Generation Enhancement via Bridging Visual and Semantic Spaces
• Title（参考訳）: MAGE: ブリッジングビジュアル空間とセマンティック空間によるマルチモーダルアライメントとジェネレーション拡張
• Authors: Shaojun E, Yuchen Yang, Jiaheng Wu, Yan Zhang, Tiejun Zhao, Ziyan Chen,
• Abstract要約: MAGEは、革新的なアライメント機構を通じて視覚とテキストの意味空間をブリッジする新しいフレームワークである。 我々は、クロスエントロピーと平均二乗誤差を組み合わせたトレーニング戦略を採用し、アライメント効果を著しく向上させる。 提案するマルチモーダル大規模モデルアーキテクチャであるMAGEは,様々な評価ベンチマークにおける類似の手法と比較して,性能が大幅に向上した。
• 参考スコア（独自算出の注目度）: 23.447713697204225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the latest advancements in multimodal learning, effectively addressing the spatial and semantic losses of visual data after encoding remains a critical challenge. This is because the performance of large multimodal models is positively correlated with the coupling between visual encoders and large language models. Existing approaches often face issues such as vector gaps or semantic disparities, resulting in information loss during the propagation process. To address these issues, we propose MAGE (Multimodal Alignment and Generation Enhancement), a novel framework that bridges the semantic spaces of vision and text through an innovative alignment mechanism. By introducing the Intelligent Alignment Network (IAN), MAGE achieves dimensional and semantic alignment. To reduce the gap between synonymous heterogeneous data, we employ a training strategy that combines cross-entropy and mean squared error, significantly enhancing the alignment effect. Moreover, to enhance MAGE's "Any-to-Any" capability, we developed a fine-tuning dataset for multimodal tool-calling instructions to expand the model's output capability boundaries. Finally, our proposed multimodal large model architecture, MAGE, achieved significantly better performance compared to similar works across various evaluation benchmarks, including MME, MMBench, and SEED. Complete code and appendix are available at: https://github.com/GTCOM-NLP/MAGE.
• Abstract（参考訳）: マルチモーダル学習の最近の進歩では、符号化後の視覚データの空間的・意味的な損失に効果的に対処することが重要な課題である。 これは、大規模マルチモーダルモデルの性能が視覚エンコーダと大規模言語モデルの結合と正の相関関係にあるためである。 既存のアプローチでは、ベクトルギャップや意味的格差といった問題に直面することが多く、伝播プロセス中に情報損失が発生する。 これらの課題に対処するために,革新的なアライメント機構を通じて視覚とテキストの意味空間をブリッジする新しいフレームワークであるMAGE(Multimodal Alignment and Generation Enhancement)を提案する。 Intelligent Alignment Network (IAN)を導入することで、MAGEは次元的および意味的アライメントを実現する。 異種データ間のギャップを低減するため,クロスエントロピーと平均二乗誤差を組み合わせたトレーニング戦略を採用し,アライメント効果を著しく向上させた。 さらに,MAGEの"Any-to-Any"機能を強化するために,マルチモーダルツールコール命令のための微調整データセットを開発し,モデル出力機能の境界を拡大した。 最後に,提案するマルチモーダル大規模モデルアーキテクチャであるMAGEは,MME,MMBench,SEEDなど,様々な評価ベンチマークで比較して,性能が大幅に向上した。 完全なコードと付録は、https://github.com/GTCOM-NLP/MAGEで入手できる。

関連論文リスト

• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Multimodal-Aware Fusion Network for Referring Remote Sensing Image Segmentation [7.992331117310217]
  リモートセンシング画像セグメンテーション(RRSIS)は、リモートセンシング画像セグメンテーションにおける新しい視覚課題である。 我々は,2つのモード間の微粒なアライメントと融合を実現するために,マルチモーダル・アウェア・フュージョン・ネットワーク(MAFN)を設計する。
  論文  参考訳（メタデータ） (2025-03-14T08:31:21Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• EMMA: Empowering Multi-modal Mamba with Structural and Hierarchical Alignment [39.870809905905325]
  微細な視覚情報を抽出するための構造的・階層的アライメント(EMMA)を用いたマルチモーダルマンバのエンパワーディングを提案する。 本モデルでは,他のマンバ系MLLMよりもレイテンシが低く,推論時の変圧器系MLLMよりも約4倍高速であることを示す。
  論文  参考訳（メタデータ） (2024-10-08T11:41:55Z)
• MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
  MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。 MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
  論文  参考訳（メタデータ） (2024-08-22T11:57:16Z)
• HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding [80.85164509232261]
  HiVGは多層適応型クロスモーダルブリッジと階層型マルチモーダル低ランク適応(HiLoRA)パラダイムで構成されている。 HiLoRAは、階層的な方法で、クロスモーダルな特徴を浅い層から深い層に適応させることによって、知覚エラーの蓄積を防止する。
  論文  参考訳（メタデータ） (2024-04-20T14:57:31Z)
• Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment [11.897888221717245]
  マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。 我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
  論文  参考訳（メタデータ） (2024-03-11T01:07:36Z)
• Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization [7.4262579052708535]
  この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。 勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。 実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-06-09T13:29:25Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。