論文の概要: Ensuring Reliability via Hyperparameter Selection: Review and Advances

• arxiv url: http://arxiv.org/abs/2502.04206v1
• Date: Thu, 06 Feb 2025 16:47:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:29:22.936701
• Title: Ensuring Reliability via Hyperparameter Selection: Review and Advances
• Title（参考訳）: ハイパーパラメータ選択による信頼性の確保:レビューと進展
• Authors: Amirmohammad Farzaneh, Osvaldo Simeone,
• Abstract要約: 本稿では、Learning-Then-Test(LTT)フレームワークをレビューし、エンジニアリング関連シナリオに適したいくつかの拡張について検討する。 これらの拡張には、異なるリスク測度と統計的保証、多目的最適化、事前の知識と依存構造の導入が含まれる。 本稿は,コミュニケーションシステムへの実証的な応用についても紹介する。
• 参考スコア（独自算出の注目度）: 35.59201763567714
• License:
• Abstract: Hyperparameter selection is a critical step in the deployment of artificial intelligence (AI) models, particularly in the current era of foundational, pre-trained, models. By framing hyperparameter selection as a multiple hypothesis testing problem, recent research has shown that it is possible to provide statistical guarantees on population risk measures attained by the selected hyperparameter. This paper reviews the Learn-Then-Test (LTT) framework, which formalizes this approach, and explores several extensions tailored to engineering-relevant scenarios. These extensions encompass different risk measures and statistical guarantees, multi-objective optimization, the incorporation of prior knowledge and dependency structures into the hyperparameter selection process, as well as adaptivity. The paper also includes illustrative applications for communication systems.
• Abstract（参考訳）: ハイパーパラメータの選択は、人工知能(AI)モデルの展開における重要なステップであり、特に基礎的、事前訓練されたモデルの時代においてである。 マルチ仮説テスト問題としてハイパーパラメータの選択を検討した結果,選択したハイパーパラメータによって達成された人口リスク対策について,統計的に保証できることが示唆された。 本稿では、このアプローチを形式化したLearning-Then-Test(LTT)フレームワークをレビューし、エンジニアリング関連シナリオに適したいくつかの拡張について検討する。 これらの拡張には、異なるリスク測度と統計的保証、多目的最適化、事前知識と依存構造をハイパーパラメータ選択プロセスに組み込むこと、および適応性が含まれる。 本稿は,コミュニケーションシステムへの実証的な応用についても紹介する。

関連論文リスト

• Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs [35.59201763567714]
  センシティブなアプリケーションドメインでは、マルチオブジェクトのハイパーパラメータ選択によって、デプロイ前にAIモデルの信頼性を確保することができる。 本稿では,有向非巡回グラフ(DAG)を用いた多目的ハイパーパラメータ選択のための新しいフレームワークを提案する。 FDR(False Discovery Rate)制御を統合することで、RG-PTは堅牢な統計的信頼性を保証するとともに、さまざまな領域にわたる実験を通じて表示される。
  論文  参考訳（メタデータ） (2025-01-22T17:05:38Z)
• Optimize Incompatible Parameters through Compatibility-aware Knowledge Integration [104.52015641099828]
  既存の研究は、そのようなパラメータを除去したり、複数の異なる事前訓練されたモデルの出力をマージすることに長けている。 本稿では,Deep AssessmentとDeep SplicingからなるCompatibility-Aware Knowledge Integration (CKI)を提案する。 統合モデルは推論やさらなる微調整に直接使用することができる。
  論文  参考訳（メタデータ） (2025-01-10T01:42:43Z)
• Hyperparameter Optimization in Machine Learning [34.356747514732966]
  ハイパーパラメータは、機械学習アルゴリズムの振る舞いを制御する設定変数である。 それらの価値の選択は、これらの技術に基づいてシステムの有効性を決定する。 我々はハイパーパラメータ最適化の統一的な処理を行い、読者に最先端技術に関する実例と洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-30T09:39:22Z)
• Quantile Learn-Then-Test: Quantile-Based Risk Control for Hyperparameter Optimization [36.14499894307206]
  この研究は、リスク尺度の量子化に関する統計的保証を提供するために設計された、Learning-then-test (LTT)の変種を導入する。 本稿では,提案アルゴリズムを無線アクセススケジューリング問題に適用することにより,本手法の実用的利点について述べる。
  論文  参考訳（メタデータ） (2024-07-24T15:30:12Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• On the consistency of hyper-parameter selection in value-based deep reinforcement learning [13.133865673667394]
  本稿では,値に基づく深層強化学習エージェントのハイパーパラメータ選択の信頼性に着目した実証的研究を行う。 我々の研究は、どのハイパーパラメーターがチューニングに最も重要かを確立するのに役立ち、どのチューニングが異なるトレーニング体制間で一貫性を持ち続けるかを明らかにするのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-25T13:06:09Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• A Theoretical Framework of Almost Hyperparameter-free Hyperparameter Selection Methods for Offline Policy Evaluation [2.741266294612776]
  オフライン強化学習(OPE)は、環境シミュレーターを使わずに、データ駆動型決定最適化のための中核技術である。 最適性(選択基準と呼ばれる)の概念を定量的かつ解釈可能な方法で定義するOPEのための近似ハイパーパラメータ選択フレームワークを提案する。 収束率や時間複雑性などの異なる特徴を持つ4つのAHS法を導出する。
  論文  参考訳（メタデータ） (2022-01-07T02:23:09Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。