論文の概要: Generative Bayesian Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2512.20051v1
• Date: Tue, 23 Dec 2025 05:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.749728
• Title: Generative Bayesian Hyperparameter Tuning
• Title（参考訳）: ベイズ型ハイパーパラメータチューニング
• Authors: Hedibert Lopes, Nick Polson, Vadim Sokolov,
• Abstract要約: クロスバリデーションは大規模では計算が禁止されることが多いが、後方サンプリングのコストのため完全にベイズ的ハイパーパラメータ学習は困難である。 我々は, (i) ランダム化, 重み付けされた目的(重み付けされたベイズブートストラップ) と (ii) ハイパーパラメータ設定の繰り返し最適化による, ベイズ後部への最適化に基づく近似の2つの考え方を組み合わせた生成的視点を開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: \noindent Hyper-parameter selection is a central practical problem in modern machine learning, governing regularization strength, model capacity, and robustness choices. Cross-validation is often computationally prohibitive at scale, while fully Bayesian hyper-parameter learning can be difficult due to the cost of posterior sampling. We develop a generative perspective on hyper-parameter tuning that combines two ideas: (i) optimization-based approximations to Bayesian posteriors via randomized, weighted objectives (weighted Bayesian bootstrap), and (ii) amortization of repeated optimization across many hyper-parameter settings by learning a transport map from hyper-parameters (including random weights) to the corresponding optimizer. This yields a ``generator look-up table'' for estimators, enabling rapid evaluation over grids or continuous ranges of hyper-parameters and supporting both predictive tuning objectives and approximate Bayesian uncertainty quantification. We connect this viewpoint to weighted $M$-estimation, envelope/auxiliary-variable representations that reduce non-quadratic losses to weighted least squares, and recent generative samplers for weighted $M$-estimators.
• Abstract（参考訳）: \noindent Hyper-parameter selectionは現代の機械学習における中心的な実践的問題であり、正規化強度、モデル能力、堅牢性の選択を管理している。 クロスバリデーションは大規模では計算が禁止されることが多いが、後方サンプリングのコストのために完全にベイズ的ハイパーパラメータ学習は困難である。 我々は2つのアイデアを組み合わせたハイパーパラメータチューニングに関する生成的視点を開発する。 一 ランダム化、重み付け目的(重み付きベイズブートストラップ)によるベイズ後部への最適化に基づく近似 (II)ハイパーパラメータ(ランダムウェイトを含む)から対応するオプティマイザへのトランスポートマップを学習することにより、多くのハイパーパラメータ設定における繰り返し最適化の補正を行う。 これにより、推定器の ‘generator look-up table' が得られ、格子やハイパーパラメータの連続範囲を高速に評価でき、予測的チューニング目標とベイズの不確実性定量化の両方をサポートする。 我々は、この視点を、重み付き$M$推定、重み付き最小二乗の損失を減少させるエンベロープ/補助変数表現、および近年の重み付き$M$推定器用生成サンプルと結びつけた。

関連論文リスト

• Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints [0.0]
  このケーススタディでは、マルチタスク自然言語モデルの変種を比較するために、フェーズドハイパーパラメータ最適化プロセスを適用する。 我々は,多相性,ハイパーパラメータ空間プルーニング,プログレッシブ・ハーヴィング,そして人間の指導の度合いを生かした,短いベイズ最適化セッションを採用している。 本稿では,Eberts と Ulges が提案した 2021 Joint Entity and Relation extract model の変種集合について実演する。
  論文  参考訳（メタデータ） (2025-05-14T20:38:44Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
  文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。 そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。 理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-02-18T23:31:20Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。