論文の概要: Joint, Decoupled, or Agent: When Each Multimodal Alignment Paradigm Wins

• arxiv url: http://arxiv.org/abs/2610.24108v1
• Date: Fri, 16 Oct 2026 18:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:02:07.53523
• Title: Joint, Decoupled, or Agent: When Each Multimodal Alignment Paradigm Wins
• Title（参考訳）: ジョイント、デカップリング、エージェント: 各マルチモーダルアライメントパラダイムが勝つとき
• Abstract要約: 共同で事前訓練されたマルチモーダルエンコーダはモダリティを組み合わせる一般的な方法であり、代替手段は下流のトレーニングや推論で情報を統合する。 パブリックチェックポイントをインスタンス化した3つのパラダイムを、5つのドメインに16のペアデータセットと、複数のトレーニングラベル予算で比較する。 DECOUPLEDは54、JOINT 44、Agens 46を平均効用で勝利させる。
• 参考スコア（独自算出の注目度）: 14.999703820504825
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Jointly pretrained multimodal encoders are a common way to combine modalities, while alternatives integrate their information during downstream training or inference. When does each approach win? We compare three paradigms, instantiated with public checkpoints, across 16 paired datasets in five domains and multiple training-label budgets. JOINT trains a fusion head on frozen, jointly pretrained encoders. DECOUPLED trains a fusion head on frozen, independently pretrained encoders. AGENT gives a frozen LLM task instructions, labelled examples, available sample text, and supervised unimodal readouts. No paradigm dominates the complete 144 dataset-budget combinations: DECOUPLED wins 54, JOINT 44, and AGENT 46 by mean utility. ScienceQA, MELD, and MetMeme shift from AGENT to fusion as supervision increases. Between the fusion paradigms, JOINT leads on four of five QA datasets across all evaluated budgets, while higher unimodal 5-NN accuracy is associated with a relative shift toward DECOUPLED across eight classification datasets (Spearman $ρ=-0.67$). We test whether representation and task diagnostics predict these preferences on held-out datasets before fitting their candidate systems. A two-step cascade combines these diagnostics with task and budget metadata to select AGENT or fusion, then JOINT or DECOUPLED. Under leave-one-group-out evaluation, it selects the winner in 71.4% of cells versus 54.2% for metadata-only routing, with mean relative regret 0.028 versus 0.057. Using geometry, supervised representation diagnostics, and text-label matching together yields higher accuracy and lower regret than using any one of these sources with metadata. These results connect paradigm preferences to supervision budget, task format, and unimodal 5-NN accuracy. Target-task diagnostics thus support selecting among the three paradigms before candidate fitting.
• Abstract（参考訳）: 共同で事前訓練されたマルチモーダルエンコーダはモダリティを組み合わせる一般的な方法であり、代替手段は下流のトレーニングや推論で情報を統合する。 それぞれのアプローチはいつ勝つのか? パブリックチェックポイントをインスタンス化した3つのパラダイムを、5つのドメインに16のペアデータセットと、複数のトレーニングラベル予算で比較する。 JOINTは、凍結した、共同で事前訓練されたエンコーダに融合ヘッドを訓練する。 DECOUPLEDは、凍結した、独立に訓練されたエンコーダに核融合ヘッドを訓練する。 Agentは凍結したLDMタスク命令、ラベル付き例、利用可能なサンプルテキスト、教師なしの単調な読み出しを提供する。 DECOUPLEDは54、JOINT 44、Agens 46を平均効用で勝利させる。 ScienceQA、MELD、MetMemeは、監督が増加するにつれて、エージェントから融合へとシフトする。 融合パラダイムの間、JOINTは評価されたすべての予算で5つのQAデータセットのうち4つをリードする一方、5-NNの精度は8つの分類データセット(Spearman $ρ=-0.67$)にわたるDeCOUPLEDへの相対シフトと関連している。 候補システムに適合する前に、保持されたデータセット上で、表現とタスクの診断がこれらの嗜好を予測するかどうかを検証する。 2ステップのカスケードは、これらの診断とタスクと予算メタデータを組み合わせて、エージェントまたは融合を選択し、JOINTまたはDECOUPLEDを選択します。 離脱グループアウトの評価では、71.4%の細胞に対してメタデータのみのルーティングでは54.2%で勝者が選ばれ、平均的後悔率は0.028対0.057である。 幾何学、教師付き表現診断、テキストラベルマッチングを併用すると、メタデータを持つどのソースを使うよりも精度が高く、後悔度も低い。 これらの結果は、パラダイムの選好と、監督予算、タスクフォーマット、および非標準の5-NN精度を結びつけている。 したがって、ターゲットタスク診断は、候補フィッティング前の3つのパラダイムの選択をサポートする。

関連論文リスト

• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• Efficient Multimodal Inference through Adaptive Acquisition and Sequential Fusion [9.366514012970628]
  SemARCは、設定依存ユーティリティと、残りの適合Q学習を組み合わせることで、次の利用可能なモダリティや停止を選択する。 ARCは、各データセットの最も正確なベースラインと比較して、3.2%高いマクロF1と61.4%低い総推測GFLOPを達成する。
  論文  参考訳（メタデータ） (2026-10-05T22:25:56Z)
• MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution [51.00839146188019]
  MESH-Harnessは、各ハーネスを明示的なロール固有のインターフェイスを持つ機能モジュールにまとめる。 Mixed-start coordinate ascentは、空間を列挙することなく、評価のための完全な構成を選択する。 繰り返しハーネス最適化はMESH-Harnessを5.63-7.79ポイント改善した。
  論文  参考訳（メタデータ） (2026-10-04T15:22:23Z)
• DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection [53.457992197673185]
  データ固有の一貫性(Data Intrinsic Consistency、DIC)は、サンプルレベルのコンポーネント間の一貫性を定量化するために設計された自己スコアの指標である。 DICSは、高いサンプル内一貫性とグローバルな分布多様性の間のトレードオフを最適化する適応データ選択手法である。 DIC-6Mは6Mサンプルのマルチモーダル命令コーパスであり、最大規模の視覚的命令選択学習を可能にする。
  論文  参考訳（メタデータ） (2026-08-31T03:44:54Z)
• AdaRare: Telemetry-Guided Joint Profile Control for Greybox Fuzzing [1.3960594124957035]
  グレイボックスファッジャは相互作用するキュー、突然変異、辞書、エネルギー、比較解決制御面を組み合わせる。 AdaRareは5つの内部アクティベーションメカニズムをコーディネートするAFL++拡張である。
  論文  参考訳（メタデータ） (2026-08-18T09:33:33Z)
• CAPS: Cascaded Adaptive Pairwise Selection for Efficient Parallel Reasoning [24.596125996494717]
  CAPSは2つの軸に沿って不均一に検証器を割り当てる推論のみのフレームワークである。 CAPSは、コードに対する検証対象の予算の25.4%を使用しながら、20組中14組で先頭のペアワイズ検証器を上回っている。
  論文  参考訳（メタデータ） (2026-05-15T01:16:12Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning [17.40655778450583]
  本稿では、Sigma_texttest, Sigma_irangle$という形式を持つVariance Alignment Score(VAS)という原則付き計量を提案する。 VASとCLIPのスコアを合わせると、ノイズの多いデータセットDataCompの38評価セットに1.3%、高品質なデータセットCC12MのVTABに2.5%の差でベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-02-03T06:29:04Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。