論文の概要: Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation

• arxiv url: http://arxiv.org/abs/2501.08361v1
• Date: Tue, 14 Jan 2025 10:04:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:06.331182
• Title: Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation
• Title（参考訳）: 分布外一般化とFew-Shot領域適応のためのウェイト平均化
• Authors: Shijian Xu,
• Abstract要約: コンピュータビジョンにおけるアウト・オブ・ディストリビューションの一般化に対処する2つの手法が開発されている。 本稿では、損失正則化器として勾配類似性によってWAのモデル多様性を高めることを提案する。 また、WAとSAMを組み合わせることで、少数ショット領域適応の問題を解決することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Empirical risk minimization (ERM) is not robust to changes in the distribution of data. When the distribution of test data is different from that of training data, the problem is known as out-of-distribution generalization. Recently, two techniques have been developed for addressing out-of-distribution generalization in computer vision: weight averaging (WA) and sharpness-aware minimization (SAM). WA involves training multiple models with different hyperparameters and then averaging the weights of these models, which can significantly improve out-of-distribution generalization performance. SAM optimizes a neural network to find minima in flat regions, which have been proven to perform well under distribution shifts. While these techniques have made great progress, there is still room for improvement and further exploration. In this thesis, we propose increasing the model diversity in WA explicitly by introducing gradient similarity as a loss regularizer to further improve out-of-distribution generalization performance. We also propose combining WA and SAM to solve the problem of few-shot domain adaptation. Our extensive experiments on digits datasets (MNIST, SVHN, USPS, MNIST-M) and other domain adaptation datasets (VLCS, PACS) show that combining WA and SAM leads to improved out-of-distribution generalization performance and significantly increases few-shot domain adaptation accuracy.
• Abstract（参考訳）: 経験的リスク最小化(ERM)はデータの分散の変化に対して堅牢ではない。 テストデータの分布がトレーニングデータと異なる場合、その問題はアウト・オブ・ディストリビューション一般化(out-of-distribution generalization)として知られている。 近年,ウェイト平均化 (WA) とシャープネス認識最小化 (SAM) の2つの手法がコンピュータビジョンにおけるアウト・オブ・ディストリビューションの一般化に向け開発されている。 WAは、異なるハイパーパラメータを持つ複数のモデルをトレーニングし、それらのモデルの重みを平均化する。 SAMはニューラルネットワークを最適化して、分布シフト下でうまく機能することが証明された平坦な領域でミニマを見つける。 これらの技術は大きな進歩を遂げてきたが、改善とさらなる探索の余地はまだ残っている。 本稿では,損失正規化器として勾配類似性を導入し,分布外一般化性能をさらに向上させることにより,WAのモデル多様性を明示的に向上することを提案する。 また、WAとSAMを組み合わせることで、少数ショット領域適応の問題を解決することを提案する。 桁データセット(MNIST, SVHN, USPS, MNIST-M)およびその他の領域適応データセット(VLCS, PACS)に関する広範な実験により、WAとSAMを組み合わせることにより、分布外一般化性能が向上し、ドメイン適応精度が著しく向上することが示された。

関連論文リスト

• DiM: $f$-Divergence Minimization Guided Sharpness-Aware Optimization for Semi-supervised Medical Image Segmentation [8.70112307145508]
  本稿では,$f$-divergence最小化に基づくシャープネスを考慮した最適化手法を提案する。 この方法はモデルパラメータの感度を微調整することでモデルの安定性を向上させる。 さらに、$f$-divergenceの導入により、さまざまなデータセットへのモデルの適応性も向上する。
  論文  参考訳（メタデータ） (2024-11-19T09:07:26Z)
• EUDA: An Efficient Unsupervised Domain Adaptation via Self-Supervised Vision Transformer [21.59850502993888]
  教師なしドメイン適応(UDA)は、トレーニング(ソース)データの分散がテスト(ターゲット)データと異なる領域シフトの問題を軽減することを目的としている。 この問題に対処するために多くのモデルが開発され、近年では視覚変換器(ViT)が有望な結果を示している。 本稿では、トレーニング可能なパラメータを削減し、調整可能な複雑性を実現するための効率的なモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-31T03:29:28Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Diverse Weight Averaging for Out-of-Distribution Generalization [100.22155775568761]
  単走ではなく、複数の独立したトレーニングランから得られる平均重量について、Diverse Weight Averaging (DiWA)を提案する。 DiWAは、推論オーバーヘッドなしに競合するDomainBedベンチマークのテクニックの状態を継続的に改善します。
  論文  参考訳（メタデータ） (2022-05-19T17:44:22Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• DAIR: Data Augmented Invariant Regularization [20.364846667289374]
  本稿では,データ拡張不変正規化(DAIR)を提案する。 DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。 ドメインシフトを含む複数の実世界の学習問題に適用する。
  論文  参考訳（メタデータ） (2021-10-21T15:30:40Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。