論文の概要: Provable Hyperparameter Tuning for Structured Pfaffian Settings

• arxiv url: http://arxiv.org/abs/2409.04367v1
• Date: Fri, 6 Sep 2024 15:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 15:24:36.094861
• Title: Provable Hyperparameter Tuning for Structured Pfaffian Settings
• Title（参考訳）: 構造ファフィアン設定のための確率的ハイパーパラメータチューニング
• Authors: Maria-Florina Balcan, Anh Tuan Nguyen, Dravyansh Sharma,
• Abstract要約: パラメータ化データ駆動型アルゴリズム設計問題に対する学習保証を提供するためのフレームワークを提案する。 Pfaffian GJ フレームワークを導入し,計算に Pfaffian 関数が関係する関数クラスに対する学習保証を提供する。 オンライン学習環境において、損失関数列の分散性を検証するための新しいツールを提供する。
• 参考スコア（独自算出の注目度）: 24.457000214575245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-driven algorithm design automatically adapts algorithms to specific application domains, achieving better performance. In the context of parameterized algorithms, this approach involves tuning the algorithm parameters using problem instances drawn from the problem distribution of the target application domain. While empirical evidence supports the effectiveness of data-driven algorithm design, providing theoretical guarantees for several parameterized families remains challenging. This is due to the intricate behaviors of their corresponding utility functions, which typically admit piece-wise and discontinuity structures. In this work, we present refined frameworks for providing learning guarantees for parameterized data-driven algorithm design problems in both distributional and online learning settings. For the distributional learning setting, we introduce the Pfaffian GJ framework, an extension of the classical GJ framework, capable of providing learning guarantees for function classes for which the computation involves Pfaffian functions. Unlike the GJ framework, which is limited to function classes with computation characterized by rational functions, our proposed framework can deal with function classes involving Pfaffian functions, which are much more general and widely applicable. We then show that for many parameterized algorithms of interest, their utility function possesses a refined piece-wise structure, which automatically translates to learning guarantees using our proposed framework. For the online learning setting, we provide a new tool for verifying dispersion property of a sequence of loss functions. This sufficient condition allows no-regret learning for sequences of piece-wise structured loss functions where the piece-wise structure involves Pfaffian transition boundaries.
• Abstract（参考訳）: データ駆動型アルゴリズム設計は、アルゴリズムを特定のアプリケーションドメインに自動的に適応させ、より良いパフォーマンスを達成する。 パラメータ化アルゴリズムの文脈では、対象のアプリケーション領域の問題分布から引き出された問題インスタンスを用いて、アルゴリズムパラメータをチューニングする。 経験的エビデンスは、データ駆動型アルゴリズム設計の有効性を支持するが、いくつかのパラメータ化されたファミリーの理論的保証は依然として困難である。 これは対応するユーティリティ関数の複雑な振る舞いによるもので、通常は断片的かつ不連続な構造を持つ。 本研究では,パラメータ化データ駆動型アルゴリズムの設計問題に対して,分散学習とオンライン学習の両方で学習保証を提供するための洗練されたフレームワークを提案する。 分散学習環境では,古典的なGJフレームワークの拡張であるPfaffian GJフレームワークを導入し,計算にPfaffian関数が関係する関数クラスに対する学習保証を提供する。 有理関数を特徴とする計算を伴う関数クラスに限定されるGJフレームワークとは異なり、提案フレームワークはより一般的で広く適用可能なPfaffian関数を含む関数クラスを扱うことができる。 そして,多くのパラメータ化アルゴリズムに対して,そのユーティリティ関数は精巧な断片構造を持ち,提案したフレームワークを用いた学習保証に自動的に変換されることを示す。 オンライン学習環境において、損失関数列の分散性を検証するための新しいツールを提供する。 この十分条件は、ピースワイズ構造がプファフ遷移境界を含むピースワイズ構造損失関数の列に対する非回帰学習を可能にする。

関連論文リスト

• Decomposable Transformer Point Processes [2.1756081703276]
  本稿では,注目に基づくアーキテクチャの利点の維持と,薄型化アルゴリズムの限界を回避する枠組みを提案する。 提案手法は,その履歴が与えられたシーケンスの次の事象を予測する上で,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T13:22:58Z)
• Functional Bilevel Optimization for Machine Learning [36.081761044296904]
  本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。 機能的二段階最適化問題に対して,スケーラブルで効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-29T15:22:03Z)
• Robustness of Algorithms for Causal Structure Learning to Hyperparameter Choice [2.3020018305241337]
  ハイパーパラメータチューニングは、どんなアルゴリズムでも最先端と予測性能の低さを区別することができる。 本稿では,ハイパーパラメータ選択が因果構造学習タスクに及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2023-10-27T15:34:08Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Multivariate Systemic Risk Measures and Computation by Deep Learning Algorithms [63.03966552670014]
  本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。 私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
  論文  参考訳（メタデータ） (2023-02-02T22:16:49Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Data-driven Algorithm Design [21.39493074700162]
  データ駆動型アルゴリズム設計は、現代のデータ科学とアルゴリズム設計の重要な側面である。 パラメータの小さな微調整は、アルゴリズムの振る舞いのカスケードを引き起こす可能性がある。 バッチおよびオンラインシナリオに対して、強力な計算および統計的パフォーマンス保証を提供する。
  論文  参考訳（メタデータ） (2020-11-14T00:51:57Z)
• Refined bounds for algorithm configuration: The knife-edge of dual class approximability [94.83809668933021]
  トレーニングセットが、トレーニングセット上でのパラメータの平均メトリックのパフォーマンスが、予想される将来的なパフォーマンスに最も近いことを保証するために、どの程度の規模が必要かを調査する。 この近似が L-無限ノルムの下で成り立つなら、強いサンプル複雑性境界を与えることができる。 我々は、コンピュータ科学において最も強力なツールの一つである整数プログラミングの文脈において、我々の限界を実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-21T15:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。