論文の概要: Stochastic Gradient Optimization with Model-Assisted Sampling

• arxiv url: http://arxiv.org/abs/2606.27171v1
• Date: Thu, 25 Jun 2026 15:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.335271
• Title: Stochastic Gradient Optimization with Model-Assisted Sampling
• Title（参考訳）: モデルアシストサンプリングによる確率勾配最適化
• Abstract要約: 本稿では, サーベイサンプリング理論を用いて, ミニバッチ勾配を解釈するモデル支援サンプリングフレームワークを提案する。 本研究の目的は,機械学習の最適化とサンプリング理論の橋渡しであり,サンプルベース推定と分散低減を両立させることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work addresses the problem of variance in stochastic gradient estimation for machine learning optimization. Deep learning relies on mini-batch methods such as stochastic gradient descent, which approximate full gradients but introduce noise, creating trade-offs between convergence stability, speed, and generalization. Existing methods, including variance reduction techniques (e.g., SVRG and SAG) and adaptive optimizers, aim to mitigate gradient noise but may introduce additional computational overhead. We propose a model-assisted sampling framework that interprets mini-batch gradients through survey sampling theory, treating the dataset as a fixed finite population and gradients as sample-based estimates. Our aim is to bridge machine learning optimization and survey sampling theory by combining their perspectives on sample-based estimation and variance reduction. By incorporating auxiliary gradient-prediction models, we construct more efficient gradient estimators, with uniform sampling arising as a special case when no auxiliary information is used. Our approach integrates easily with existing optimizers, improving efficiency without altering their dynamics. Empirical results on synthetic and six benchmark datasets show performance gains in 71-86% of the experiments, particularly for medium-sized input spaces in our benchmarks. Notably, with momentum-based optimizers such as AdamW, the proposed estimator achieves clearly better generalization in roughly half the training epochs compared to baseline estimator.
• Abstract（参考訳）: 本研究は,機械学習最適化のための確率勾配推定における分散問題に対処する。 深層学習は確率勾配降下のようなミニバッチ法に依存しており、完全な勾配を近似するがノイズを導入し、収束安定性、速度、一般化の間のトレードオフを生み出す。 分散低減技術(例えば、SVRGとSAG)や適応最適化器を含む既存の手法は、勾配雑音を軽減することを目的としているが、さらなる計算オーバーヘッドをもたらす可能性がある。 そこで本研究では, モデル支援型サンプリングフレームワークを提案する。このフレームワークは, サーベイサンプリング理論を用いてミニバッチ勾配を解釈し, データセットを一定の有限集団として, 勾配を標本ベース推定として扱う。 本研究の目的は,機械学習の最適化とサンプリング理論の橋渡しであり,サンプルベース推定と分散低減を両立させることである。 補助的な勾配予測モデルを組み込むことにより、補助情報を使用しない場合に特別な場合に生じる一様サンプリングにより、より効率的な勾配推定器を構築することができる。 このアプローチは既存のオプティマイザと容易に統合でき、ダイナミクスを変更することなく効率を向上します。 その結果, 実験の71～86%で, 特にベンチマーク中の中規模の入力空間において, 性能が向上したことが明らかとなった。 特に、AdamWのような運動量に基づく最適化器では、提案した推定器は、ベースライン推定器と比較して、ほぼ半分のトレーニングエポックにおいて明らかにより良い一般化を達成する。

関連論文リスト

• Instance-optimal stochastic convex optimization: Can we improve upon sample-average and robust stochastic approximation? [19.235225166737354]
  本研究では,加法雑音と乗法雑音の両方を導入するオラクルの下で,スムーズかつ強凸な集団損失関数の制約のない最小化について検討する。 その結果, VISOR の加速変種はインスタンス最適であり, 対数的因子の最大化を達成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-03-26T17:12:01Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Zero-Variance Gradients for Variational Autoencoders [32.818968022327866]
  変分オートエンコーダ(VAE)のような深層生成モデルの訓練は、潜伏変数のサンプリングを通じて勾配をバックプロパゲートする必要性によって、しばしば妨げられる。 本稿では,この問題をサイドステップとして,Silent Gradientsと呼ぶ新しい視点を提案する。 推定器を改良する代わりに、特定のデコーダアーキテクチャを解析的に利用して予測されるELBOを計算する。
  論文  参考訳（メタデータ） (2025-08-05T15:54:21Z)
• FLOPS: Forward Learning with OPtimal Sampling [1.694989793927645]
  勾配に基づく計算手法は、最近、クエリとも呼ばれる前方通過のみによる学習に焦点が当てられている。 従来の前方学習はモンテカルロサンプリングによる正確な勾配推定のために各データポイントで膨大なクエリを消費する。 本稿では,評価精度と計算効率のバランスを良くするために,訓練中の各データに対して最適なクエリ数を割り当てることを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:16:12Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics [18.93569692490218]
  勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。 固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。 我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
  論文  参考訳（メタデータ） (2022-07-25T17:58:09Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。