論文の概要: DaWin: Training-free Dynamic Weight Interpolation for Robust Adaptation

• arxiv url: http://arxiv.org/abs/2410.03782v2
• Date: Tue, 11 Feb 2025 09:21:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:04:26.330772
• Title: DaWin: Training-free Dynamic Weight Interpolation for Robust Adaptation
• Title（参考訳）: DaWin:ロバスト適応のためのトレーニング不要な動的ウェイト補間
• Authors: Changdae Oh, Yixuan Li, Kyungwoo Song, Sangdoo Yun, Dongyoon Han,
• Abstract要約: 本研究では,各未ラベルテストサンプルに対する個々のモデルのエントロピーを利用するトレーニングフリーな動的重み付け手法であるDaWinを提案する。 このような係数を学習するために、通常追加のトレーニングに依存する以前の作業とは異なり、我々のアプローチはトレーニングを必要としない。 その結果、DaWinは計算オーバーヘッドを最小限に抑えながら、考慮された設定で大幅なパフォーマンス向上を達成した。
• 参考スコア（独自算出の注目度）: 57.11544252399801
• License:
• Abstract: Adapting a pre-trained foundation model on downstream tasks should ensure robustness against distribution shifts without the need to retrain the whole model. Although existing weight interpolation methods are simple yet effective, we argue their static nature limits downstream performance while achieving efficiency. In this work, we propose DaWin, a training-free dynamic weight interpolation method that leverages the entropy of individual models over each unlabeled test sample to assess model expertise, and compute per-sample interpolation coefficients dynamically. Unlike previous works that typically rely on additional training to learn such coefficients, our approach requires no training. Then, we propose a mixture modeling approach that greatly reduces inference overhead raised by dynamic interpolation. We validate DaWin on the large-scale visual recognition benchmarks, spanning 14 tasks across robust fine-tuning -- ImageNet and derived five distribution shift benchmarks -- and multi-task learning with eight classification tasks. Results demonstrate that DaWin achieves significant performance gain in considered settings, with minimal computational overhead. We further discuss DaWin's analytic behavior to explain its empirical success.
• Abstract（参考訳）: 下流タスクに事前トレーニングされた基礎モデルを適用することで、モデル全体を再トレーニングすることなく、分散シフトに対して堅牢性を確保することができる。 既存の重み補間法は単純だが有効であるが、その静的な性質は下流の性能を抑えつつ効率を保っていると論じる。 本研究では,各実験試料に対する個々のモデルのエントロピーを利用して,モデルの専門性を評価し,サンプルごとの補間係数を動的に計算する,トレーニング不要な動的ウェイト補間法DaWinを提案する。 このような係数を学習するために、通常追加のトレーニングに依存する以前の作業とは異なり、我々のアプローチはトレーニングを必要としない。 そこで本研究では,動的補間による推論オーバーヘッドを大幅に低減する混合モデリング手法を提案する。 私たちはDaWinを、大規模なビジュアル認識ベンチマークで検証し、堅牢な微調整(ImageNetと派生した5つの分散シフトベンチマーク)と8つの分類タスクによるマルチタスク学習(multi-task learning)という14のタスクにまたがった。 その結果、DaWinは計算オーバーヘッドを最小限に抑えながら、考慮された設定で大幅なパフォーマンス向上を達成した。 実験的な成功を説明するため,DaWinの分析的振る舞いについても論じる。

関連論文リスト

• Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts [13.752169303624147]
  アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。 そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。 提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T05:50:39Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Modeling Score Distributions and Continuous Covariates: A Bayesian Approach [8.772459063453285]
  連続共変量に対するマッチングと非マッチスコア分布の生成モデルを構築した。 混合モデルを用いて任意の分布と局所基底関数をキャプチャする。 提案手法の精度と有効性を示す3つの実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T02:41:20Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。