論文の概要: ITO: Images and Texts as One via Synergizing Multiple Alignment and Training-Time Fusion

• arxiv url: http://arxiv.org/abs/2603.02767v2
• Date: Wed, 04 Mar 2026 01:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 14:47:28.974187
• Title: ITO: Images and Texts as One via Synergizing Multiple Alignment and Training-Time Fusion
• Title（参考訳）: ITO:複数アライメントと訓練時間融合を融合した画像とテキスト
• Authors: HanZpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He,
• Abstract要約: ITOは2つの相乗的メカニズムによる制限に対処するフレームワークである。 ITOは、分類、検索、マルチモーダルベンチマークにおいて、強いベースラインを一貫して上回ることを示す。 解析の結果,複数のアライメントが識別力を駆動するのに対して,トレーニング時核融合は重要な構造正則化器として機能することがわかった。
• 参考スコア（独自算出の注目度）: 14.791563751107502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image-text contrastive pretraining has become a dominant paradigm for visual representation learning, yet existing methods often yield representations that remain partially organized by modality. We propose ITO, a framework addressing this limitation through two synergistic mechanisms. Multimodal multiple alignment enriches supervision by mining diverse image-text correspondences, while a lightweight training-time multimodal fusion module enforces structured cross-modal interaction. Crucially, the fusion module is discarded at inference, preserving the efficiency of standard dual-encoder architectures. Extensive experiments show that ITO consistently outperforms strong baselines across classification, retrieval, and multimodal benchmarks. Our analysis reveals that while multiple alignment drives discriminative power, training-time fusion acts as a critical structural regularizer -- eliminating the modality gap and stabilizing training dynamics to prevent the early saturation often observed in aggressive contrastive learning.
• Abstract（参考訳）: 画像テキストの対照的な事前学習は視覚表現学習において支配的なパラダイムとなっているが、既存の手法ではモダリティによって部分的に構成された表現がしばしば得られる。 ITOは2つの相乗的メカニズムを通してこの制限に対処するフレームワークである。 マルチモーダル多重アライメントは、多様な画像-テキスト通信をマイニングすることで監督を強化し、軽量なトレーニング時マルチモーダル融合モジュールは、構造化された相互モーダル相互作用を強制する。 重要なことに、融合モジュールは推論時に破棄され、標準のデュアルエンコーダアーキテクチャの効率が保たれる。 大規模な実験により、ITOは分類、検索、マルチモーダルベンチマークにおいて、強いベースラインを一貫して上回っていることが示された。 分析の結果、複数のアライメントが差別的パワーを駆動する一方で、トレーニング時間融合は重要な構造的レギュレータとして機能し、モダリティギャップを排除し、トレーニングダイナミクスを安定化することで、攻撃的なコントラスト学習でしばしば見られる早期飽和を防ぐことができることがわかった。

関連論文リスト

• UniT: Unified Multimodal Chain-of-Thought Test-time Scaling [85.590774707406]
  統一モデルは単一のアーキテクチャ内でマルチモーダル理解と生成の両方を扱うことができるが、通常は出力を反復的に書き換えることなく単一のパスで操作する。 マルチモーダルなテストタイムスケーリングのためのフレームワークであるUniTを導入し、単一の統一モデルで複数のラウンドをまたいだ推論、検証、精査を可能にします。
  論文  参考訳（メタデータ） (2026-02-12T18:59:49Z)
• When Gradient Optimization Is Not Enough: $\dagger$ Dispersive and Anchoring Geometric Regularizer for Multimodal Learning [7.598111859541752]
  我々は,表現幾何学をマルチモーダル学習において欠落する制御軸として認識し,軽量な幾何認識正規化フレームワークであるregNameを提案する。 regNameは、表現の多様性を促進するモード内分散正規化と、厳密なアライメントなしでサンプルレベルのクロスモーダルドリフトを束縛するモード間アンカー正規化の2つの補完的制約を施行する。 複数のマルチモーダルベンチマークによる実験では、マルチモーダルとユニモーダルの両方のパフォーマンスが一貫した改善を示し、表現幾何学の明示的な制御がモダリティトレードオフを効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2026-01-29T13:03:50Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis [0.6961946145048322]
  本稿では,Adaptive Multi-lossとProgressive Attention Fusionを用いた,エンドツーエンドのコントラスト学習フレームワークを提案する。 このフレームワークは、Progressive Attention Fusion Network、Multi-task Contrastive Learning、Adaptive Multi-loss Aggregationの3つの新しいモジュールで構成されている。 標準の公開ベンチマークによる評価は、CLAMPが既存の最先端技術よりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-21T11:49:57Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Learning to Fuse: Modality-Aware Adaptive Scheduling for Robust Multimodal Foundation Models [0.0]
  モーダリティ・アウェア・アダプティブ・フュージョン・スケジューリング(MA-AFS)は、各モーダリティの寄与をインスタンス単位で動的に調節することを学ぶ。 本研究は, 適応融合の重要性を強調し, 信頼性と不確実性を考慮したマルチモーダル学習に向けた有望な方向性を開く。
  論文  参考訳（メタデータ） (2025-06-15T05:57:45Z)
• Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
  MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。 中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。 大規模な実験ではPPADの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-05-26T14:42:35Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
  マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。 既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。 本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
  論文  参考訳（メタデータ） (2024-08-30T03:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。