論文の概要: TRACER: Persistent Regularization for Robust Multimodal Finetuning

• arxiv url: http://arxiv.org/abs/2605.29380v1
• Date: Thu, 28 May 2026 05:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.759989
• Title: TRACER: Persistent Regularization for Robust Multimodal Finetuning
• Title（参考訳）: TRACER:ロバストなマルチモーダルファインタニングのための永続正規化
• Authors: Hesam Asadollahzadeh, Feng Liu, Christopher Leckie, Sarah M. Erfani,
• Abstract要約: 我々は,マルチモーダルコントラストファインタニングの理論的枠組みを開発し,各戦略の閉形式解と幾何分解を導出する。 重み付けされた移動平均教師が有限地平線上で永続的な正規化力を保ち、タスク部分空間においてバイアスのない収束をもたらすことを証明した。 CLIPファインタニングの実験は、3つのバックボーンアーキテクチャで一貫したOOD精度とキャリブレーションゲインを示す。
• 参考スコア（独自算出の注目度）: 15.846967169292789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mainstream strategies for finetuning pretrained multimodal models often degrade out-of-distribution (OOD) robustness, a phenomenon known as catastrophic forgetting. In this paper, we develop a theoretical framework for multimodal contrastive finetuning, yielding closed-form solutions and a geometric decomposition for each strategy. This framework shows that self-distillation is more effective than other regularization approaches to retain the knowledge of the pretrained model. Our analysis reveals a largely overlooked limitation: standard Exponential Moving Average (EMA) teachers, widely used in robust finetuning, suffer from collapse. To solve this, we prove that a Weighted Moving Average (WMA) teacher maintains a persistent regularizing force over finite horizons and yields bias-free convergence in the task subspace while preserving orthogonal knowledge. These insights motivate **TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization), which combines contrastive learning with WMA-guided multi-perspective distillation. Extensive experiments on CLIP finetuning demonstrate consistent OOD accuracy and calibration gains across three backbone architectures, and comprehensive ablations confirm that TRACER is both principled and robust to hyperparameter choices. Code is available at [https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER).
• Abstract（参考訳）: 事前訓練されたマルチモーダルモデルを微調整するための主流戦略は、しばしば破滅的な忘れ物として知られるOOD(out-of-distribution)ロバスト性(英語版)を低下させる。 本稿では,マルチモーダルコントラストファインタニングの理論的枠組みを開発し,各戦略の閉形式解と幾何分解を導出する。 この枠組みは、事前訓練されたモデルの知識を維持するために、他の正規化アプローチよりも自己蒸留の方が効果的であることを示している。 EMA(Exponential moving Average)の標準教師は、頑健な微調整に広く用いられているが、崩壊に悩まされている。 この問題を解決するために、重み付き移動平均(WMA)教師が有限地平線上で永続的な正規化力を保ち、直交知識を維持しつつタスク部分空間にバイアスのない収束をもたらすことを証明した。 これらの洞察は**TRACER** (**T**rajectory-**R**obust **A**nchoring for **C**ontrastive **E**ncoder **R**egularization)を動機付け、WMA誘導多点蒸留と対比学習を組み合わせた。 CLIPファインタニングに関する大規模な実験では、3つのバックボーンアーキテクチャでOODの精度とキャリブレーションが一貫した向上を示し、TRACERは原則的かつ高パラメータな選択であることを確認した。 コードは[https://github.com/HesamAsad/TRACER](https://github.com/HesamAsad/TRACER]で入手できる。

関連論文リスト

• Multicalibration Boosting: Theory, Convergence, and Transferability [1.2031796234206138]
  マルチキャリブレーションは、関数の豊富なコレクションに対して予測を非バイアス化することを要求することによって、古典的なキャリブレーションを拡張する。 公平性、堅牢性、信頼性のある予測のための強力なフレームワークとして登場した。 我々は既存の変種を仮定するMCBoostの統一的で洗練された視点を開発する。
  論文  参考訳（メタデータ） (2026-05-23T03:04:49Z)
• Beyond Surface Artifacts: Capturing Shared Latent Forgery Knowledge Across Modalities [52.189426539304065]
  本稿では,従来の「機能融合」から「モダリティ一般化」に再定義するパラダイムシフトを提案する。 モーダリティ固有のスタイルを明示的に分離することにより,MAFは必須かつ非モーダルな潜在フォージェリー知識を正確に抽出する。
  論文  参考訳（メタデータ） (2026-04-09T03:35:21Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Principled Multimodal Representation Learning [99.53621521696051]
  マルチモーダル表現学習は、多様なデータモダリティを統合することにより、統一された表現空間を作ろうとする。 最近の進歩は、複数のモードの同時アライメントを調査しているが、いくつかの課題が残っている。 複数モーダルの同時アライメントを実現する新しいフレームワークであるPMRL(Principled Multimodal Representation Learning)を提案する。
  論文  参考訳（メタデータ） (2025-07-23T09:12:25Z)
• A General Adaptive Dual-level Weighting Mechanism for Remote Sensing Pansharpening [11.791358860917189]
  リモートセンシングの深層学習法は 急速に進歩しています 多くの既存手法は特徴の不均一性と冗長性を完全に活用するのに苦労している。 これらの課題に対処するために、一般適応二重レベル重み付け機構(ADWM)を導入する。
  論文  参考訳（メタデータ） (2025-03-17T14:24:00Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。