論文の概要: Loss Smoothing for Stable Adaptation Under Distribution Shift

• arxiv url: http://arxiv.org/abs/2607.00634v1
• Date: Wed, 01 Jul 2026 08:47:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.815655
• Title: Loss Smoothing for Stable Adaptation Under Distribution Shift
• Title（参考訳）: 分散シフト下における安定適応のための損失平滑化
• Abstract要約: 損失平滑化(Loss smoothing)は、適応開始時のソースと目標トレーニング目標を補間するシンプルなアプローチである。 制御された教師付きシフト、事前訓練された視覚適応、オフラインからオンラインへの強化学習、および言語モデルの微調整などにより、損失の平滑化はパフォーマンスを継続的に改善する。
• 参考スコア（独自算出の注目度）: 33.43907011755832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In settings such as fine-tuning and reinforcement learning, neural networks are often adapted under distribution shift. Standard adaptation methods typically optimize the target objective directly, inducing an abrupt change from the source training objective. This abrupt transition can distort learned representations, including features that may still be useful for the new task. We investigate whether a more gradual transition can improve adaptation. We propose loss smoothing, a simple approach that interpolates between the source and target training objectives at the start of adaptation. This smooth transition helps to preserve useful features from the source distribution while still enabling the model to specialize to the target distribution. Across controlled supervised shifts, pretrained vision adaptation, offline-to-online and online reinforcement learning, and language model fine-tuning, we find that loss smoothing consistently improves performance, suggesting that smoother objective transitions are a broadly useful tool for model adaptation.
• Abstract（参考訳）: 微調整や強化学習のような設定では、ニューラルネットワークは分散シフトの下で適応されることが多い。 標準適応法は通常、目標目標を直接最適化し、ソーストレーニング目標から突然の変更を誘導する。 この突然の移行は、新しいタスクにまだ役立つかもしれない機能を含む、学習した表現を歪めることができる。 より段階的な移行が適応を改善するかどうかを検討する。 本稿では,適応開始時のソースと目標トレーニング目標を補間するシンプルな手法である損失平滑化を提案する。 このスムーズな移行は、モデルがターゲットのディストリビューションに特化できるようにしながら、ソースの配布から有用な機能を維持するのに役立ちます。 制御された教師付きシフト、事前学習された視覚適応、オフラインからオンラインへの強化学習、および言語モデルの微調整により、損失のスムーズ化はパフォーマンスを継続的に改善し、よりスムーズな客観遷移がモデル適応の幅広い有用なツールであることを示唆する。

関連論文リスト

• Features are fate: a theory of transfer learning in high-dimensional regression [23.840251319669907]
  対象タスクが事前学習されたモデルの特徴空間で適切に表現されている場合、転送学習はスクラッチからトレーニングに優れることを示す。 本モデルでは, 音源と目標タスクの重なり合う特徴空間が十分に強い場合, 線形転送と微調整の両方で性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:26Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes [18.140619966865955]
  本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整する新しいテスト時間適応手法を提案する。 提案手法は,各種標準ベンチマークの最先端性能を示すとともに,教師付きベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-24T10:17:05Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。