論文の概要: Attention Bootstrapping for Multi-Modal Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2503.02221v1
• Date: Tue, 04 Mar 2025 02:53:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:19:34.653018
• Title: Attention Bootstrapping for Multi-Modal Test-Time Adaptation
• Title（参考訳）: マルチモーダルテスト時間適応のためのアテンションブートストラップ
• Authors: Yusheng Zhao, Junyu Luo, Xiao Luo, Jinsheng Huang, Jingyang Yuan, Zhiping Xiao, Ming Zhang,
• Abstract要約: テストタイム適応は、未ラベルのテストデータのみを使用して、テスト時の潜在的分散シフトに十分に訓練されたモデルを適用することを目的としている。 本稿では,主エントロピー最小化法(ABPEM)を用いたアテンションブートストラップ法を提案することによって,マルチモーダルテスト時間適応の問題に取り組む。 この注意ギャップを緩和し、より良いモダリティ融合を促進するために、自己注意の指導による横断的注意を促す注意ブートストラップを提案する。
• 参考スコア（独自算出の注目度）: 10.524759195371828
• License:
• Abstract: Test-time adaptation aims to adapt a well-trained model to potential distribution shifts at test time using only unlabeled test data, without access to the original training data. While previous efforts mainly focus on a single modality, test-time distribution shift in the multi-modal setting is more complex and calls for new solutions. This paper tackles the problem of multi-modal test-time adaptation by proposing a novel method named Attention Bootstrapping with Principal Entropy Minimization (ABPEM). We observe that test-time distribution shift causes misalignment across modalities, leading to a large gap between intra-modality discrepancies (measured by self-attention) and inter-modality discrepancies (measured by cross-attention). We name this the attention gap. This attention gap widens with more severe distribution shifts, hindering effective modality fusion. To mitigate this attention gap and encourage better modality fusion, we propose attention bootstrapping that promotes cross-attention with the guidance of self-attention. Moreover, to reduce the gradient noise in the commonly-used entropy minimization, we adopt principal entropy minimization, a refinement of entropy minimization that reduces gradient noise by focusing on the principal parts of entropy, excluding less reliable gradient information. Extensive experiments on the benchmarks validate the effectiveness of the proposed ABPEM in comparison with competing baselines.
• Abstract（参考訳）: テストタイム適応は、元のトレーニングデータにアクセスすることなく、ラベルのないテストデータのみを使用して、テスト時の潜在的な分散シフトに、十分にトレーニングされたモデルを適用することを目的としている。 これまでの取り組みは主に単一モダリティに重点を置いていたが、マルチモーダル設定におけるテスト時間分布のシフトはより複雑であり、新しいソリューションを求めている。 本稿では,Attention Bootstrapping with principal Entropy Minimization (ABPEM) という新しい手法を提案する。 テスト時間分布の変化は、モダリティ間の不一致を引き起こし、モダリティ内不一致(自己注意による測定)とモダリティ間不一致(相互注意による測定)の間に大きなギャップを生じさせる。 私たちはこれを注意ギャップと名付けます。 この注意ギャップは、より深刻な分布シフトによって拡大し、効果的なモダリティ融合を妨げる。 この注意ギャップを緩和し、より良いモダリティ融合を促進するために、自己注意の指導による横断的注意を促す注意ブートストラップを提案する。 さらに, 一般に使用されているエントロピー最小化における勾配雑音を低減するために, 信頼性の低い勾配情報を除いて, エントロピーの主部分に着目して勾配雑音を低減するエントロピー最小化法を採用した。 ベンチマークの大規模な実験は、競合するベースラインと比較して提案されたAPPEMの有効性を検証する。

関連論文リスト

• Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training [5.9631503543049895]
  テスト時ドメイン適応は、推論中に制限された未ラベルのターゲットデータに事前訓練されたモデルを適用することを目的とした、困難なタスクである。 本稿では,バッチ正規化レイヤ上でのテスト時間トレーニングを行うためのメタラーニングミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:16:05Z)
• Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
  オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
  論文  参考訳（メタデータ） (2024-08-14T12:40:57Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Revisiting Modality Imbalance In Multimodal Pedestrian Detection [6.7841188753203046]
  本稿では,マルチモーダルアーキテクチャにおける正規化器を用いた新しいトレーニング構成を導入し,モーダル間の相違を解消する。 具体的には,2つの特徴抽出器を訓練中に同等に重要視することにより,特徴融合法をより堅牢にすることを支援する。
  論文  参考訳（メタデータ） (2023-02-24T11:56:57Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation [44.494319305269535]
  ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
  論文  参考訳（メタデータ） (2021-06-28T22:06:10Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees [0.76146285961466]
  提案手法は軽度条件下で一階臨界点に収束することが保証されていることを示す。 提案手法は分散PGOの近位演算子に依存するため,収束速度を著しく向上させることができる。 この研究の有効性は、2Dおよび3D SLAMデータセットの応用を通じて検証される。
  論文  参考訳（メタデータ） (2020-03-11T15:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。