論文の概要: Boosting Data Augmentation with Stochastic Weight Averaging

• arxiv url: http://arxiv.org/abs/2608.14373v1
• Date: Fri, 14 Aug 2026 15:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.416696
• Title: Boosting Data Augmentation with Stochastic Weight Averaging
• Title（参考訳）: 確率的ウェイト平均化によるデータ拡張の促進
• Abstract要約: 近年の研究では、無限大の深層アンサンブルが、拡張データに基づいて訓練された場合、完全な対称性を示すことが示されている。 SWA(Weight Averaging)は、反復的なトレーニングの実行を必要としない代替のアンサンブル技術である。 無限幅の限界では、SWA単独による性能向上によって期待できる以上に、拡張データ上のSWAが等放射性の向上をもたらすことが示される。
• 参考スコア（独自算出の注目度）: 5.457386921498268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The symmetries of a learning task have become an important factor in designing modern deep learning solutions. Data augmentation is a straightforward and effective way of incorporating symmetries into a generic neural network. Recent results show that infinitely large deep ensembles show perfect symmetry when trained on augmented data. However, since training ensembles requires repeating the training process many times, this method is costly. In this work, we study stochastic weight averaging (SWA) as an alternative ensembling technique that does not require repeated training runs. We analyze SWA by approximating the stochastic training trajectory at the end of training with an Ornstein--Uhlenbeck process. We show that in the infinite-width limit, SWA on augmented data provides an equiviariance boost that goes beyond what could be expected from the performance increase due to SWA alone. We verify our results with extensive numerical experiments on numerous models spanning computer vision and graph classification with both discrete and continuous symmetries.
• Abstract（参考訳）: 学習課題の対称性は、現代のディープラーニングソリューションの設計において重要な要素となっている。 データ拡張は、一般的なニューラルネットワークに対称性を組み込む、単純で効果的な方法である。 近年の研究では、無限大の深層アンサンブルが、拡張データに基づいて訓練された場合、完全な対称性を示すことが示されている。 しかし、トレーニングアンサンブルは何度もトレーニングプロセスを繰り返す必要があるため、この方法はコストがかかる。 本研究は, 確率的ウェイト平均化(SWA)を, 繰り返しトレーニングを行う必要のない代替アンサンブル手法として検討する。 我々は,Ornstein-Uhlenbeck法を用いて,トレーニング終了時の確率的トレーニング軌跡を近似することによりSWAを解析した。 無限幅の限界では、SWA単独による性能向上によって期待できる以上に、拡張データ上のSWAが等放射性の向上をもたらすことが示される。 我々はコンピュータビジョンとグラフ分類にまたがる多数のモデルについて、離散的および連続的対称性の双方で広範な数値実験を行い、その結果を検証した。

関連論文リスト

• SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
  本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。 SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。 ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-06-05T10:00:19Z)
• On-the-Fly Data Augmentation via Gradient-Guided and Sample-Aware Influence Estimation [21.267525672022046]
  モデル最適化に対する各サンプルの進化的影響に基づいて,各サンプルの強化強度をオンザフライで調整する,サンプル認識動的拡張(SADA)について紹介する。 本手法は軽量であり,補助モデルやポリシーチューニングを必要としない。既存のトレーニングパイプラインにプラグイン・アンド・プレイモジュールとしてシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-10-01T02:26:52Z)
• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection [28.75333303894706]
  ToReMiは、トピックの関連や観察された学習パターンに応じてトレーニングサンプル重量を調整する新しいフレームワークである。 実験の結果,ToReMiの変種は従来の事前学習手法よりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-04-01T12:06:42Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
  スケールは強力な機械学習モデルを得る上で重要な要素となっている。 本研究では,コサインのスケジュールに依存するため,スケールとトレーニングの研究は必然的に複雑である,と論じる。 その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T17:33:54Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space [0.0]
  本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
  論文  参考訳（メタデータ） (2019-12-30T14:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。