論文の概要: Representation Editing for Multimodal Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2609.32263v1
• Date: Sat, 26 Sep 2026 05:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:19:56.677644
• Title: Representation Editing for Multimodal Test-Time Adaptation
• Title（参考訳）: マルチモーダルテスト時間適応のための表現編集
• Abstract要約: マルチモーダルテスト時間適応(TTA)は、未ラベルのテストデータを用いて、モダリティ間の分散シフトに事前訓練されたマルチモーダルモデルをオンラインに適用することを目的としている。 セマンティックにリッチな中間表現を直接編集する新しいマルチモーダルTTA手法であるFourIer Representation Editor (FIRE)を提案する。
• 参考スコア（独自算出の注目度）: 6.78015109959356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal test-time adaptation (TTA) aims to adapt a pretrained multimodal model online to distribution shift across modalities using unlabeled test data, showing broad potential in real-world applications. However, existing methods primarily focus on adjusting fused features to bridge the source-target gap, lacking explicit control over intermediate representation misalignment, which is a key driver of performance drop under distribution shift. In this work, we tackle this challenge from the perspective of representation engineering. Unlike previous TTA methods that update fusion weights in place, we propose FourIer Representation Editor (FIRE), a novel multimodal TTA approach that directly edits semantically rich intermediate representations. Specifically, we first adopt representation editors into each intermediate layer of the unimodal encoders, enabling layer-wise calibration of unimodal representations. To further enhance the diversity and stability of the low-rank editing subspaces, each representation editor performs frequency domain mixing via the fast Fourier transform to construct structured bases. Moreover, we introduce multi-level adaptation objectives to optimize these editors, jointly promoting cross-modal semantic alignment, source-target statistical alignment, and asymmetric prediction consistency. In this way, FIRE yields aligned unimodal representations for fusion and further improves prediction reliability. Extensive experiments on two widely used multimodal benchmarks under various corruption types demonstrate the superiority of FIRE over existing multimodal TTA methods.
• Abstract（参考訳）: マルチモーダルテスト時間適応(TTA)は、未ラベルのテストデータを用いて、モダリティ間の分散シフトに事前訓練されたマルチモーダルモデルをオンラインに適用することを目的としており、現実世界のアプリケーションにおいて大きな可能性を示している。 しかし、既存の手法は、主にソースとターゲットのギャップを埋めるために融合した特徴を調整することに重点を置いており、中間表現の不整合に対する明確な制御が欠如している。 本研究では,表現工学の観点から,この課題に取り組む。 融合重みを更新する従来のTTA手法とは異なり、意味的にリッチな中間表現を直接編集する新しいマルチモーダルTTA手法であるFourIer Representation Editor (FIRE)を提案する。 具体的には、まず、単調エンコーダの各中間層に表現エディタを採用し、単調エンコーダの層ワイドキャリブレーションを可能にする。 低ランクな編集サブ空間の多様性と安定性をさらに向上するため、各表現エディタは高速フーリエ変換を介して周波数領域混合を行い、構造化ベースを構成する。 さらに、これらのエディタを最適化するための多レベル適応目的を導入し、クロスモーダルなセマンティックアライメント、ソース・ターゲット統計アライメント、非対称な予測整合性を共同で促進する。 このようにして、FIREは融合のための一様表現を整列させ、予測信頼性をさらに向上させる。 様々な汚職タイプで広く使用されている2つのマルチモーダルベンチマークに対する大規模な実験は、既存のマルチモーダルTTA法よりもFIREの方が優れていることを示す。

関連論文リスト

• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
  マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
  論文  参考訳（メタデータ） (2026-04-18T09:38:03Z)
• Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization [6.63504422595921]
  我々は,凍結事前訓練されたtextbfmono-modal 画像登録モデルと,textbfmulti-modal 画像登録のための軽量適応パイプラインを統合する登録フレームワークを提案する。 我々は,Learner2Reg 2025 LUMIR検証セットに対するアプローチを評価し,事前訓練したモノモーダルバックボーンに対する一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-03-27T13:21:19Z)
• Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation [39.02105398462778]
  テスト時間適応(TTA)は、未ラベルのテストデータのみを使用したオンラインモデル適応を可能にする。 マルチモーダルのシナリオでは、異なるモダリティをまたいだ分布の度合いの変化は複雑なカップリング効果をもたらす。 本稿では,BriMPR(Progressive Re-alignment)によるブリッジングモダリティ( Bridging Modalities)と呼ばれる新しいTTAフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T03:33:42Z)
• Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge [16.958159611661813]
  Latent Denoising Diffusion Bridge Model (LDDBM)は、モーダル翻訳のための汎用フレームワークである。 共用ラテント空間で演算することにより、任意のモード間のブリッジを、整列次元を必要とせずに学習する。 提案手法は任意のモダリティペアをサポートし,マルチビューから3次元形状生成,画像超解像,マルチビューシーン合成など,多様なMTタスクに強く依存する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:54Z)
• Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process [55.91649771370862]
  ディリクレ過程(DP)混合モデルは、最も顕著な特徴を増幅できる強力な非パラメトリック法である。 本稿では,DP駆動型マルチモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T16:53:24Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
  textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。 Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。 マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
  論文  参考訳（メタデータ） (2025-07-07T04:09:45Z)
• Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.505062507621494]
  モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
  論文  参考訳（メタデータ） (2021-08-11T09:59:34Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。