論文の概要: The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It

• arxiv url: http://arxiv.org/abs/2610.27895v1
• Date: Tue, 20 Oct 2026 09:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.73778
• Title: The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It
• Title（参考訳）: DPOハイパーパラメータランドスケープの形状:計測方法、スケールでの移動方法、移動しないタイミング
• Abstract要約: 直接選好最適化(DPO)は、学習後の言語モデルに広く使われている。 実験の結果,最適学習率はモデルサイズによって異なることがわかった。 短い候補のトレーニングは、この選択のコストを大幅に削減することができる。
• 参考スコア（独自算出の注目度）: 5.889004141703921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct preference optimisation (DPO) is widely used for language model post-training, but its performance depends strongly on the choice of its hyperparameters, such as the learning rate and the reference-policy regularisation parameter $β$. To better understand the DPO hyperparameter landscape, we conduct extensive experiments using a dense hyperparameter grid across different model scales from the same family. This allows us to analyse how the optimal DPO hyperparameters evolve with model size and the number of update steps, with intermediate checkpoints providing an inexpensive signal to accelerate the hyperparameter optimisation process. Furthermore, by evaluating our models on both static and dynamic benchmarks, we identify which benchmarks provide the strongest signal for hyperparameter selection. Finally, we investigate how different state-of-the-art hyperparameter optimisation strategies perform in this setting. Our experiments show that the optimal learning rate varies with model size and that hyperparameters are not transferable across training datasets. We also find that validation loss is a poor proxy for hyperparameter optimisation, as hyperparameters that minimize validation loss only weakly correlate with optimal hyperparameters for downstream benchmarks. Therefore, DPO hyperparameters need to be tuned specifically for the target model, dataset, and evaluation objective. We also show that short candidate training runs can substantially reduce the cost of this selection. We release all our training configurations and evaluation results to support reproducible analysis of selection quality and training cost.
• Abstract（参考訳）: 直接選好最適化(DPO)は言語モデルのポストトレーニングに広く用いられているが、その性能は学習率や基準政治正規化パラメータである$β$などのハイパーパラメータの選択に強く依存している。 DPOハイパーパラメータのランドスケープをよりよく理解するために、同じ家系の異なるモデルスケールにまたがる密度のハイパーパラメータグリッドを用いて広範な実験を行う。 これにより、最適DPOハイパーパラメータがモデルサイズと更新ステップの数でどのように進化するかを解析し、中間チェックポイントは、ハイパーパラメータ最適化プロセスを加速するための安価な信号を提供する。 さらに、静的ベンチマークと動的ベンチマークの両方でモデルを評価することにより、ハイパーパラメータ選択のための最も強力な信号を提供するベンチマークを特定する。 最後に、この設定において、異なる最先端のハイパーパラメータ最適化戦略がどのように機能するかを検討する。 実験の結果,最適学習速度はモデルサイズによって異なり,ハイパーパラメータはトレーニングデータセット間では転送できないことがわかった。 検証損失を最小化するハイパーパラメータは、下流ベンチマークの最適ハイパーパラメータと弱相関する。 したがって、DPOハイパーパラメーターはターゲットモデル、データセット、評価目的のために特別に調整する必要がある。 また,短時間の候補学習が,この選択のコストを大幅に削減できることを示した。 我々は、選択品質とトレーニングコストの再現可能な分析を支援するために、トレーニング設定と評価結果をすべてリリースする。

関連論文リスト

• Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration [40.02031646222292]
  モデルサイズを小さくして最適なグローバルベースハイパーパラメータを探索し,大規模に転送する方法を示す。 実験により,大規模言語モデルにおける学習速度の大幅な向上が示された。
  論文  参考訳（メタデータ） (2025-12-26T20:56:04Z)
• Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining [59.369484219304866]
  我々は100兆のトークンをスクラッチから3,700以上の大規模言語モデル(LLM)に対する前例のない経験的調査訓練を実施している。 ステップ法則(ステップ法)と呼ばれる,LLM事前学習におけるハイパーパラメータ最適化のための普遍的スケーリング法則を確立する。 我々の推定オプティマは, 排他的探索によって得られた世界最高の性能から, テストセットの0.094%しか逸脱しない。
  論文  参考訳（メタデータ） (2025-03-06T18:58:29Z)
• Towards hyperparameter-free optimization with differential privacy [9.193537596304669]
  差分プライバシー(DP)は、ディープラーニングモデルをトレーニングする際のトレーニングデータを保護するプライバシー保護パラダイムである。 本研究では,任意のモデルを対象としたDP最適化に自動学習率スケジュールを適用し,各種言語および視覚タスクにおける最先端のDP性能を実現する。
  論文  参考訳（メタデータ） (2025-03-02T02:59:52Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Hyperparameter Selection for Subsampling Bootstraps [0.0]
  BLBのようなサブサンプリング手法は、大量のデータに対する推定器の品質を評価する強力なツールとして機能する。 サブサンプリング法の性能は,チューニングパラメータの選択によって大きく影響を受ける。 本研究では,サブサンプリング手法のチューニングパラメータの選択に利用できるハイパーパラメータ選択手法を開発した。 シミュレーション研究と実データ解析の両方が,本手法の優位性を証明している。
  論文  参考訳（メタデータ） (2020-06-02T17:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。