論文の概要: CTA: Cross-Task Alignment for Better Test Time Training

• arxiv url: http://arxiv.org/abs/2507.05221v1
• Date: Mon, 07 Jul 2025 17:33:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.539992
• Title: CTA: Cross-Task Alignment for Better Test Time Training
• Title（参考訳）: CTA: テスト時間トレーニングを改善するクロスタスクアライメント
• Authors: Samuel Barbeau, Pedram Fekri, David Osowiechi, Ali Bahri, Moslem YazdanpanahMasih Aminbeidokhti, Christian Desrosiers,
• Abstract要約: テストタイムトレーニング(TTT)は、モデルロバスト性を高める効果的な方法として登場した。 CTA(Cross-Task Alignment)は,TTTを改善するための新しいアプローチである。 いくつかのベンチマークデータセット上で、最先端技術よりもロバスト性や一般化が大幅に向上したことを示す。
• 参考スコア（独自算出の注目度）: 8.477039221184064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models have demonstrated exceptional performance across a wide range of computer vision tasks. However, their performance often degrades significantly when faced with distribution shifts, such as domain or dataset changes. Test-Time Training (TTT) has emerged as an effective method to enhance model robustness by incorporating an auxiliary unsupervised task during training and leveraging it for model updates at test time. In this work, we introduce CTA (Cross-Task Alignment), a novel approach for improving TTT. Unlike existing TTT methods, CTA does not require a specialized model architecture and instead takes inspiration from the success of multi-modal contrastive learning to align a supervised encoder with a self-supervised one. This process enforces alignment between the learned representations of both models, thereby mitigating the risk of gradient interference, preserving the intrinsic robustness of self-supervised learning and enabling more semantically meaningful updates at test-time. Experimental results demonstrate substantial improvements in robustness and generalization over the state-of-the-art on several benchmark datasets.
• Abstract（参考訳）: ディープラーニングモデルは、幅広いコンピュータビジョンタスクで例外的なパフォーマンスを示してきた。 しかしながら、ドメインやデータセットの変更など、分散シフトに直面した場合、パフォーマンスは大幅に低下することが多い。 テストタイムトレーニング(TTT)は、トレーニング中に補助的な教師なしタスクを導入し、テスト時にモデル更新に活用することにより、モデルの堅牢性を高める効果的な方法として登場した。 本稿では,TT改善のための新しいアプローチであるCTA(Cross-Task Alignment)を紹介する。 既存のTT法とは異なり、CTAは特別なモデルアーキテクチャを必要としないため、教師付きエンコーダと教師付きエンコーダを連携させるマルチモーダルコントラスト学習の成功からインスピレーションを得ている。 このプロセスは、両方のモデルの学習表現間のアライメントを強制することにより、勾配干渉のリスクを軽減し、自己教師付き学習の本質的な堅牢性を保ち、テスト時により意味のある更新を可能にする。 実験結果は、いくつかのベンチマークデータセットにおける最先端技術よりもロバスト性や一般化が大幅に改善されたことを示す。

関連論文リスト

• Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data [0.0]
  本稿では,人間の活動認識(HAR)とセンサ配置検出を同時に行うように設計された,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。 従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用している。 実験結果から,Smooth-Distill は異なる評価シナリオにおける代替手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-27T06:51:51Z)
• ReC-TTT: Contrastive Feature Reconstruction for Test-Time Training [15.572896213775438]
  深層学習モデルを新しい未知の領域に適応させるテストタイムトレーニング手法を提案する。 ReC-TTTは、凍結エンコーダと2つのトレーニング可能なエンコーダの間の補助的なタスクとしてクロスコンストラクションを使用する。 ReC-TTTは、ほとんどのドメインシフト分類課題において、最先端技術よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-26T20:38:02Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• ClusT3: Information Invariant Test-Time Training [19.461441044484427]
  これらの脆弱性を軽減するため、TTT(Test-time Training)法が開発されている。 マルチスケール特徴写像と離散潜在表現の相互情報に基づく新しい非教師付きTTT手法を提案する。 実験結果から, 様々なテスト時間適応ベンチマークにおいて, 競争力のある分類性能が示された。
  論文  参考訳（メタデータ） (2023-10-18T21:43:37Z)
• Reinforcement Learning for Topic Models [3.42658286826597]
  本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。 ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
  論文  参考訳（メタデータ） (2023-05-08T16:41:08Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
  本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。 4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
  論文  参考訳（メタデータ） (2022-08-11T13:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。