論文の概要: When Small Guides Large: Cross-Model Co-Learning for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2506.23724v1
• Date: Mon, 30 Jun 2025 10:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.026216
• Title: When Small Guides Large: Cross-Model Co-Learning for Test-Time Adaptation
• Title（参考訳）: 小さなガイドが大きくなるとき - テスト時間適応のためのクロスモデル共学習
• Authors: Chang'an Yi, Xiaohui Deng, Guohao Chen, Yan Zhou, Qinghua Lu, Shuaicheng Niu,
• Abstract要約: テスト時間適応(TTA)は、オンラインの教師なし学習を通じて、潜在的なドメインシフトを持つドメインデータをテストするために、所定のモデルを適用する。 主に2つの戦略から構成されるTTAのクロスモデル・コラーニングフレームワークであるCOCAを提案する。
• 参考スコア（独自算出の注目度）: 9.818479489277648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time Adaptation (TTA) adapts a given model to testing domain data with potential domain shifts through online unsupervised learning, yielding impressive performance. However, to date, existing TTA methods primarily focus on single-model adaptation. In this work, we investigate an intriguing question: how does cross-model knowledge influence the TTA process? Our findings reveal that, in TTA's unsupervised online setting, each model can provide complementary, confident knowledge to the others, even when there are substantial differences in model size. For instance, a smaller model like MobileViT (10.6M parameters) can effectively guide a larger model like ViT-Base (86.6M parameters). In light of this, we propose COCA, a Cross-Model Co-Learning framework for TTA, which mainly consists of two main strategies. 1) Co-adaptation adaptively integrates complementary knowledge from other models throughout the TTA process, reducing individual model biases. 2) Self-adaptation enhances each model's unique strengths via unsupervised learning, enabling diverse adaptation to the target domain. Extensive experiments show that COCA, which can also serve as a plug-and-play module, significantly boosts existing SOTAs, on models with various sizes--including ResNets, ViTs, and Mobile-ViTs--via cross-model co-learned TTA. For example, with Mobile-ViT's guidance, COCA raises ViT-Base's average adaptation accuracy on ImageNet-C from 51.7% to 64.5%. The code is publicly available at https://github.com/ycarobot/COCA.
• Abstract（参考訳）: テスト時間適応(TTA)は、オンラインの教師なし学習を通じて、潜在的なドメインシフトを持つドメインデータをテストするために、与えられたモデルを適用する。 しかし、既存のTTA手法は主に単一モデル適応に重点を置いている。 本稿では,モデル間知識がTTAプロセスにどのような影響を及ぼすのか,興味深い疑問について考察する。 この結果から,TTAの教師なしオンライン環境では,モデルサイズに実質的な違いがある場合でも,各モデルが相互に補完的かつ確実な知識を他者に提供できることが判明した。 例えば、MobileViT (10.6Mパラメータ)のような小さなモデルでは、ViT-Base (86.6Mパラメータ)のような大きなモデルを効果的に導くことができる。 そこで本研究では,主に2つの戦略から構成されるTTAのクロスモデル・コラーニングフレームワークであるCOCAを提案する。 1) 協調適応は、TTAプロセスを通して他のモデルからの補完的知識を適応的に統合し、個々のモデルのバイアスを減らす。 2) 自己適応は,教師なし学習を通じて各モデルの独特な強みを高め,対象領域への多彩な適応を可能にする。 大規模な実験によると、COCAはプラグイン・アンド・プレイモジュールとしても機能し、ResNets、ViTs、Mobile-ViTsを含む様々なサイズのモデルで既存のSOTAを大幅に向上する。 例えば、Mobile-ViTのガイダンスにより、COCAはImageNet-CにおけるViT-Baseの平均適応精度を51.7%から64.5%に引き上げている。 コードはhttps://github.com/ycarobot/COCAで公開されている。

関連論文リスト

• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Few Clicks Suffice: Active Test-Time Adaptation for Semantic Segmentation [14.112999441288615]
  テスト時間適応(TTA)は、未ラベルのテストデータを使用した推論中に事前訓練されたモデルに適応する。 TTAアプローチと教師付きアプローチの間には,依然として大きなパフォーマンスギャップがあります。 本稿では,モデルアダプタとラベルアノテータの2つの部分からなるATASegフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T12:16:02Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers [117.67424061746247]
  本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。 本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。 実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-02-25T15:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。