論文の概要: Provable Hyperparameter Tuning for Structured Pfaffian Settings

• arxiv url: http://arxiv.org/abs/2409.04367v2
• Date: Sat, 09 Nov 2024 04:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:27.479713
• Title: Provable Hyperparameter Tuning for Structured Pfaffian Settings
• Title（参考訳）: 構造ファフィアン設定のための確率的ハイパーパラメータチューニング
• Authors: Maria-Florina Balcan, Anh Tuan Nguyen, Dravyansh Sharma,
• Abstract要約: データ駆動型アルゴリズム設計は、アルゴリズムを特定のアプリケーションドメインに自動的に適応させ、より良いパフォーマンスを達成する。 パラメータ化データ駆動型アルゴリズム設計問題に対する学習保証を提供するための改良されたフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.457000214575245
• License:
• Abstract: Data-driven algorithm design automatically adapts algorithms to specific application domains, achieving better performance. In the context of parameterized algorithms, this approach involves tuning the algorithm's hyperparameters using problem instances drawn from the problem distribution of the target application domain. This can be achieved by maximizing empirical utilities that measure the algorithms' performance as a function of their hyperparameters, using problem instances. While empirical evidence supports the effectiveness of data-driven algorithm design, providing theoretical guarantees for several parameterized families remains challenging. This is due to the intricate behaviors of their corresponding utility functions, which typically admit piecewise discontinuous structures. In this work, we present refined frameworks for providing learning guarantees for parameterized data-driven algorithm design problems in both distributional and online learning settings. For the distributional learning setting, we introduce the \textit{Pfaffian GJ framework}, an extension of the classical \textit{GJ framework}, that is capable of providing learning guarantees for function classes for which the computation involves Pfaffian functions. Unlike the GJ framework, which is limited to function classes with computation characterized by rational functions, our proposed framework can deal with function classes involving Pfaffian functions, which are much more general and widely applicable. We then show that for many parameterized algorithms of interest, their utility function possesses a \textit{refined piecewise structure}, which automatically translates to learning guarantees using our proposed framework.
• Abstract（参考訳）: データ駆動型アルゴリズム設計は、アルゴリズムを特定のアプリケーションドメインに自動的に適応させ、より良いパフォーマンスを達成する。 パラメータ化アルゴリズムの文脈では、対象のアプリケーション領域の問題分布から引き出された問題インスタンスを用いてアルゴリズムのハイパーパラメータをチューニングする。 これは、問題インスタンスを使用してアルゴリズムのパフォーマンスをハイパーパラメータの関数として測定する経験的ユーティリティを最大化することで実現できる。 経験的エビデンスは、データ駆動型アルゴリズム設計の有効性を支持するが、いくつかのパラメータ化されたファミリーの理論的保証は依然として困難である。 これは、通常、断片的に不連続な構造を持つ、対応するユーティリティ関数の複雑な振る舞いによるものである。 本研究では,パラメータ化データ駆動型アルゴリズムの設計問題に対して,分散学習とオンライン学習の両方で学習保証を提供するための洗練されたフレームワークを提案する。 本稿では,Pfaffian 関数が関係する関数クラスに対する学習保証を提供する古典的な \textit{GJ フレームワークの拡張である \textit{Pfaffian GJ フレームワークを紹介する。 有理関数を特徴とする計算を伴う関数クラスに限定されるGJフレームワークとは異なり、提案フレームワークはより一般的で広く適用可能なPfaffian関数を含む関数クラスを扱うことができる。 そこで,多くのパラメータ化アルゴリズムに対して,そのユーティリティ関数が‘textit{refined piecewise structure}’を持ち,提案フレームワークを用いた学習保証に自動的に変換されることを示す。

関連論文リスト

• Functional Bilevel Optimization for Machine Learning [36.081761044296904]
  本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。 機能的二段階最適化問題に対して,スケーラブルで効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-29T15:22:03Z)
• Verification-Aided Learning of Neural Network Barrier Functions with Termination Guarantees [6.9060054915724]
  バリア関数は、システムの安全性を保証するための一般的なフレームワークである。 これらの関数を見つける一般的な方法は存在しない。 近年のアプローチでは、自己教師付き学習技術を用いてこれらの機能を学習している。
  論文  参考訳（メタデータ） (2024-03-12T04:29:43Z)
• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。