論文の概要: Adaptive Learn-then-Test: Statistically Valid and Efficient Hyperparameter Selection

• arxiv url: http://arxiv.org/abs/2409.15844v1
• Date: Tue, 24 Sep 2024 08:14:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 08:31:23.264304
• Title: Adaptive Learn-then-Test: Statistically Valid and Efficient Hyperparameter Selection
• Title（参考訳）: Adaptive Learn-then-Test: 統計的妥当性と高パラメータ選択
• Authors: Matteo Zecchin, Osvaldo Simeone,
• Abstract要約: 本稿では,AIモデルの集団リスクに対する有限サンプル統計保証を提供するアダプティブ・ラーニング・then-test (aLTT)を導入する。 ALTTはテストラウンドの数を減らし、テストコストのかかるシナリオや安全性のリスクを示すシナリオに適している。
• 参考スコア（独自算出の注目度）: 35.88667386998423
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce adaptive learn-then-test (aLTT), an efficient hyperparameter selection procedure that provides finite-sample statistical guarantees on the population risk of AI models. Unlike the existing learn-then-test (LTT) technique, which relies on conventional p-value-based multiple hypothesis testing (MHT), aLTT implements sequential data-dependent MHT with early termination by leveraging e-processes. As a result, aLTT can reduce the number of testing rounds, making it particularly well-suited for scenarios in which testing is costly or presents safety risks. Apart from maintaining statistical validity, in applications such as online policy selection for offline reinforcement learning and hyperparameter tuning for engineering systems, aLTT is shown to achieve the same performance as LTT while requiring only a fraction of the testing rounds.
• Abstract（参考訳）: 本稿では,AIモデルの集団リスクに対する有限サンプル統計保証を提供する,効率的なハイパーパラメータ選択法であるアダプティブラーニングテインテスト(aLTT)を導入する。 従来の p-value-based multiple hypothesis testing (MHT) に依存する既存のLearning-then-test (LTT) 技術とは異なり、aLTT は e-process を利用して早期終了を伴うシーケンシャルなデータ依存型MHTを実装している。 その結果、ATLTTはテストラウンドの数を削減でき、特にテストコストのかかるシナリオや安全性のリスクを示すシナリオに適している。 統計的妥当性を保ちながら、オフライン強化学習のためのオンラインポリシー選択やエンジニアリングシステムのためのハイパーパラメータチューニングなどのアプリケーションでは、ATLTTはテストラウンドのごく一部しか必要とせず、LTTと同等の性能を発揮することが示されている。

関連論文リスト

• ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
  テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。 本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。 提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
  論文  参考訳（メタデータ） (2024-09-14T01:25:52Z)
• Quantile Learn-Then-Test: Quantile-Based Risk Control for Hyperparameter Optimization [36.14499894307206]
  この研究は、リスク尺度の量子化に関する統計的保証を提供するために設計された、Learning-then-test (LTT)の変種を導入する。 本稿では,提案アルゴリズムを無線アクセススケジューリング問題に適用することにより,本手法の実用的利点について述べる。
  論文  参考訳（メタデータ） (2024-07-24T15:30:12Z)
• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Test-Time Training for Speech [6.697702130929691]
  標準音声分類タスクのテストデータセットに分布シフトを導入する。 テスト時間トレーニング(TTT)が分散シフトの調整にどのように役立つかを検討する。
  論文  参考訳（メタデータ） (2023-09-19T21:06:22Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。