論文の概要: Efficient Hyperparameter Search for Non-Stationary Model Training

• arxiv url: http://arxiv.org/abs/2512.01258v1
• Date: Mon, 01 Dec 2025 04:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.680623
• Title: Efficient Hyperparameter Search for Non-Stationary Model Training
• Title（参考訳）: 非定常モデル学習のための効率的なハイパーパラメータ探索
• Authors: Berivan Isik, Matthew Fahrbach, Dima Kuzmin, Nicolas Mayoraz, Emil Praun, Steffen Rendle, Raghavendra Vasudeva,
• Abstract要約: 本稿では,オンライン学習システムにおけるモデルトレーニングのコストを削減するための2段階パラダイムを提案する。 私たちの中核的な洞察は、ピークパフォーマンスを達成するのではなく、第1段階の正確な識別に焦点を当てることによって、積極的なコスト削減対策が可能になるということです。 第1はCriteo 1TBデータセットで、第2は業界広告システムで、第2は2桁の規模で運用されている。
• 参考スコア（独自算出の注目度）: 11.55466013293614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning is the cornerstone of applications like recommendation and advertising systems, where models continuously adapt to shifting data distributions. Model training for such systems is remarkably expensive, a cost that multiplies during hyperparameter search. We introduce a two-stage paradigm to reduce this cost: (1) efficiently identifying the most promising configurations, and then (2) training only these selected candidates to their full potential. Our core insight is that focusing on accurate identification in the first stage, rather than achieving peak performance, allows for aggressive cost-saving measures. We develop novel data reduction and prediction strategies that specifically overcome the challenges of sequential, non-stationary data not addressed by conventional hyperparameter optimization. We validate our framework's effectiveness through a dual evaluation: first on the Criteo 1TB dataset, the largest suitable public benchmark, and second on an industrial advertising system operating at a scale two orders of magnitude larger. Our methods reduce the total hyperparameter search cost by up to 10$\times$ on the public benchmark and deliver significant, validated efficiency gains in the industrial setting.
• Abstract（参考訳）: オンライン学習はレコメンデーションや広告システムのようなアプリケーションの基盤であり、モデルがデータの分散の変化に継続的に適応する。 このようなシステムのモデルトレーニングは非常に高価で、ハイパーパラメーター探索中に乗算するコストが高い。 このコストを削減するために,(1)最も有望な構成を効率的に識別し,(2)選択した候補のみを最大限に訓練する,2段階のパラダイムを導入する。 私たちの中核的な洞察は、ピークパフォーマンスを達成するのではなく、第1段階の正確な識別に焦点を当てることによって、積極的なコスト削減対策が可能になるということです。 従来のハイパーパラメータ最適化では対処できない連続的非定常的データの課題を特に克服する新しいデータ削減および予測戦略を開発する。 第1はCriteo 1TBデータセットで、第2は業界広告システムで、第2は2桁の規模で運用されている。 提案手法は, 一般ベンチマークにおいて, ハイパーパラメータの検索コストを最大10$\times$に削減し, 産業環境において高い効率向上を実現する。

関連論文リスト

• Cost-Aware Retrieval-Augmentation Reasoning Models with Adaptive Retrieval Depth [18.05278637533445]
  本稿では,検索した文書リストの長さを動的に調整する検索拡張推論モデルを提案する。 我々は、強化学習による効率的な検索強化推論モデルの訓練のための費用対効果関数を開発する。 提案手法を7つの公開質問応答データセットで評価し,有効性を損なうことなく,高い効率性を示す。
  論文  参考訳（メタデータ） (2025-10-17T15:04:03Z)
• Thinking Augmented Pre-training [88.04395622064708]
  拡張事前学習は、自動生成された思考軌跡でテキストを増強する普遍的な方法論である。 本稿では,既存のテキストデータを思考トラジェクトリで拡張することにより,大規模言語モデル(LLM)トレーニングのデータ効率を向上させるための,シンプルでスケーラブルなアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-24T14:45:13Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Scalable Parameter and Memory Efficient Pretraining for LLM: Recent Algorithmic Advances and Benchmarking [26.80161478380058]
  大規模言語モデル(LLM)は前例のない速度で成長し、最近のモデルには数兆のパラメータを含むものもある。 この成長には、特にトレーニングや微調整に必要なメモリと計算資源に関して、かなりの計算上の課題が伴う。 パラメーターまたはメモリ効率のよいメソッドは、事前トレーニングの効率を高めつつ、フルモデルトレーニングに匹敵するパフォーマンスを達成することができるだろうか?
  論文  参考訳（メタデータ） (2025-05-28T22:51:43Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation [26.744403789694758]
  我々は、データに頼ることなく、小型で容易にデプロイ可能で堅牢なモデルを訓練するために、Data-Free Adversarial Robustness Distillation (DFARD)を提案する。 人間の教育にインスパイアされた我々は,知識伝達の効率を向上させるために,プラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計する。
  論文  参考訳（メタデータ） (2023-03-21T06:10:47Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Toward Optimal Probabilistic Active Learning Using a Bayesian Approach [4.380488084997317]
  アクティブラーニングは、コストの高いラベリングリソースを効率よく効果的に割り当てることで、ラベリングコストを削減することを目的としている。 提案したモデルにおける既存の選択戦略を再構築することにより、どの側面が現在の最先端に包含されていないかを説明することができる。
  論文  参考訳（メタデータ） (2020-06-02T15:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。