論文の概要: Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs
- arxiv url: http://arxiv.org/abs/2501.13018v2
- Date: Thu, 15 May 2025 10:49:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-16 14:06:35.839809
- Title: Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs
- Title（参考訳）: 信頼性グラフを用いた仮説テストによる多目的ハイパーパラメータ選択
- Authors: Amirmohammad Farzaneh, Osvaldo Simeone,
- Abstract要約: 本稿では信頼性グラフに基づくPareto Testing(RG-PT)を紹介する。
RG-PTは偽発見率(FDR)の観点から正式な信頼性保証を維持する
これは有向非巡回グラフを通してハイパーパラメータ間の既知の関係を説明できる。
- 参考スコア（独自算出の注目度）: 35.59201763567714
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The selection of hyperparameters, such as prompt templates in large language models (LLMs), must often strike a balance between reliability and cost. In many cases, structural relationships between the expected reliability levels of the hyperparameters can be inferred from prior information and held-out data -- e.g., longer prompt templates may be more detailed and thus more reliable. However, existing hyperparameter selection methods either do not provide formal reliability guarantees or are unable to incorporate structured knowledge in the hyperparameter space. This paper introduces reliability graph-based Pareto testing (RG-PT), a novel multi-objective hyperparameter selection framework that maintains formal reliability guarantees in terms of false discovery rate (FDR), while accounting for known relationships among hyperparameters via a directed acyclic graph. Edges in the graph reflect expected reliability and cost trade-offs among hyperparameters, which are inferred via the Bradley-Terry (BT) ranking model from prior information and held-out data. Experimental evaluations demonstrate that RG-PT significantly outperforms existing methods such as learn-then-test (LTT) and Pareto testing (PT) through a more efficient exploration of the hyperparameter space.
- Abstract（参考訳）: 大規模言語モデル(LLM)におけるプロンプトテンプレートのようなハイパーパラメータの選択は、信頼性とコストのバランスをとる必要がある。
多くの場合、ハイパーパラメータの期待される信頼性レベルと保持データとの間の構造的関係は、事前情報から推測することができる。
しかし、既存のハイパーパラメータ選択法は、正式な信頼性保証を提供していないか、あるいはハイパーパラメータ空間に構造化知識を組み込むことができない。
本稿では,多目的ハイパーパラメータ選択フレームワークである信頼性グラフに基づくパレートテスト(RG-PT)について紹介する。
グラフのエッジは、事前情報と保留データからBradley-Terry(BT)ランキングモデルを介して推測されるハイパーパラメータ間の期待される信頼性とコストトレードオフを反映している。
実験により、RG-PTは、より効率的なハイパーパラメータ空間の探索を通じて、Learning-then-test (LTT) やPareto Testing (PT) といった既存の手法よりも優れていることが示された。
関連論文リスト
- Ensuring Reliability via Hyperparameter Selection: Review and Advances [35.59201763567714]
本稿では、Learning-Then-Test(LTT)フレームワークをレビューし、エンジニアリング関連シナリオに適したいくつかの拡張について検討する。
これらの拡張には、異なるリスク測度と統計的保証、多目的最適化、事前の知識と依存構造の導入が含まれる。
本稿は,コミュニケーションシステムへの実証的な応用についても紹介する。
論文 参考訳（メタデータ） (2025-02-06T16:47:21Z) - Optimize Incompatible Parameters through Compatibility-aware Knowledge Integration [104.52015641099828]
既存の研究は、そのようなパラメータを除去したり、複数の異なる事前訓練されたモデルの出力をマージすることに長けている。
本稿では,Deep AssessmentとDeep SplicingからなるCompatibility-Aware Knowledge Integration (CKI)を提案する。
統合モデルは推論やさらなる微調整に直接使用することができる。
論文 参考訳（メタデータ） (2025-01-10T01:42:43Z) - QADM-Net: Multi-Level Quality-Adaptive Dynamic Network for Reliable Multimodal Classification [57.08108545219043]
現在のマルチモーダル分類法では、信頼性の高い推論を実現するために、サンプル固有の深さとパラメータの動的ネットワークが欠如している。
マルチレベル品質適応型動的マルチモーダルネットワーク(QADM-Net)を提案する。
4つのデータセットで行った実験により、QADM-Netは分類性能と信頼性において最先端の手法を大幅に上回っていることが示された。
論文 参考訳（メタデータ） (2024-12-19T03:26:51Z) - On the consistency of hyper-parameter selection in value-based deep reinforcement learning [13.133865673667394]
本稿では,値に基づく深層強化学習エージェントのハイパーパラメータ選択の信頼性に着目した実証的研究を行う。
我々の研究は、どのハイパーパラメーターがチューニングに最も重要かを確立するのに役立ち、どのチューニングが異なるトレーニング体制間で一貫性を持ち続けるかを明らかにするのに役立ちます。
論文 参考訳（メタデータ） (2024-06-25T13:06:09Z) - High-Dimensional False Discovery Rate Control for Dependent Variables [10.86851797584794]
本稿では,変数間の依存関係構造を利用した依存性認識型T-Rexセレクタを提案する。
可変ペナル化機構がFDR制御を保証することを実証する。
グラフィカルモデルとT-Rexフレームワークのパラメータを同時に決定する完全統合最適キャリブレーションアルゴリズムを定式化する。
論文 参考訳（メタデータ） (2024-01-28T22:56:16Z) - Efficient and Robust Bayesian Selection of Hyperparameters in Dimension
Reduction for Visualization [0.0]
本稿では,次元減少(DR)アルゴリズムにおけるハイパーパラメータ選択のための,効率的かつ堅牢な自動チューニングフレームワークを提案する。
提案手法により,多目的トレードオフを用いた効率的なハイパーパラメータ選択が可能となり,データ駆動分析が可能となった。
我々は,複数の品質指標を用いて,様々な合成および実世界のデータセットを用いて評価を行った。
論文 参考訳（メタデータ） (2023-06-01T05:36:22Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。
このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。
種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
論文 参考訳（メタデータ） (2023-06-01T04:50:06Z) - MULTIGAIN 2.0: MDP controller synthesis for multiple mean-payoff, LTL and steady-state constraints [41.94295877935867]
コントローラ合成ツールMultiGAINのメジャー拡張であるMultiGAIN 2.0を提案する。
確率論的モデルチェッカー PRISM 上に構築されている。
論文 参考訳（メタデータ） (2023-05-26T08:59:51Z) - Efficiently Controlling Multiple Risks with Pareto Testing [34.83506056862348]
本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-10-14T15:54:39Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Differential privacy and robust statistics in high dimensions [49.50869296871643]
高次元Propose-Test-Release (HPTR) は指数的メカニズム、頑健な統計、Propose-Test-Release メカニズムという3つの重要なコンポーネントの上に構築されている。
本論文では,HPTRが複数のシナリオで最適サンプル複雑性をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2021-11-12T06:36:40Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。