論文の概要: Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
- arxiv url: http://arxiv.org/abs/2602.02406v1
- Date: Mon, 02 Feb 2026 18:04:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.345568
- Title: Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
- Title（参考訳）: 構造的損失関数を持つデータ駆動型多重パラメータチューニング
- Authors: Tung Quoc Le, Anh Tuan Nguyen, Viet Anh Nguyen,
- Abstract要約: データ駆動設定において多次元ハイパーパラメータをチューニングするための一般化保証を確立するための最初の一般的なフレームワークを確立する。
提案手法は,ツールを実代数幾何学から活用することにより,半代数関数クラスに対する一般化保証フレームワークを強化する。
- 参考スコア（独自算出の注目度）: 16.202112411377893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven algorithm design automates hyperparameter tuning, but its statistical foundations remain limited because model performance can depend on hyperparameters in implicit and highly non-smooth ways. Existing guarantees focus on the simple case of a one-dimensional (scalar) hyperparameter. This leaves the practically important, multi-dimensional hyperparameter tuning setting unresolved. We address this open question by establishing the first general framework for establishing generalization guarantees for tuning multi-dimensional hyperparameters in data-driven settings. Our approach strengthens the generalization guarantee framework for semi-algebraic function classes by exploiting tools from real algebraic geometry, yielding sharper, more broadly applicable guarantees. We then extend the analysis to hyperparameter tuning using the validation loss under minimal assumptions, and derive improved bounds when additional structure is available. Finally, we demonstrate the scope of the framework with new learnability results, including data-driven weighted group lasso and weighted fused lasso.
- Abstract（参考訳）: データ駆動型アルゴリズム設計はハイパーパラメータチューニングを自動化するが、モデル性能は暗黙的かつ非滑らかな方法でハイパーパラメータに依存するため、その統計基盤は限られている。
既存の保証は、一次元(スカラー)ハイパーパラメータの単純な場合に焦点を当てている。
このことは、事実上重要で多次元のハイパーパラメータチューニング設定を未解決のまま残している。
データ駆動環境において多次元ハイパーパラメータをチューニングするための一般化保証を確立するための第1のフレームワークを確立することで、このオープンな問題に対処する。
我々のアプローチは、半代数関数クラスに対する一般化保証フレームワークを強化し、ツールを実際の代数幾何学から活用し、よりシャープでより広く適用可能な保証を与える。
次に、最小限の仮定の下で検証損失を用いて解析をハイパーパラメータチューニングに拡張し、追加構造が利用できる場合に改善された境界を導出する。
最後に,データ駆動型重み付きグループラッソや重み付きフューズドラッソなど,新たな学習性を備えたフレームワークのスコープを示す。
関連論文リスト
- Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。
これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。
本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
論文 参考訳（メタデータ） (2025-04-01T14:36:45Z) - Sample complexity of data-driven tuning of model hyperparameters in neural networks with structured parameter-dependent dual function [24.457000214575245]
固定問題インスタンス上での実用関数の不連続性と発振を特徴付ける新しい手法を提案する。
これは、実用関数の族における学習理論の複雑さが有界であることを示すのに使うことができる。
論文 参考訳（メタデータ） (2025-01-23T15:10:51Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization [19.351804144005744]
ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。
新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。
ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
論文 参考訳（メタデータ） (2024-01-19T21:11:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。