論文の概要: What is important about the No Free Lunch theorems?

• arxiv url: http://arxiv.org/abs/2007.10928v1
• Date: Tue, 21 Jul 2020 16:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 03:55:23.996947
• Title: What is important about the No Free Lunch theorems?
• Title（参考訳）: No Free Lunch定理の何が重要なのか?
• Authors: David H. Wolpert
• Abstract要約: ノー・フリー・ランチの定理は、誘導問題に対する一様分布の下では、すべての誘導アルゴリズムが等しく作用することを証明している。 定理の重要性は、それらを用いて非一様分布を含むシナリオを分析することによって生じる。 また、教師付き学習の間に「辞書」を動機付け、ブラックボックス最適化を改善する。
• 参考スコア（独自算出の注目度）: 0.5874142059884521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The No Free Lunch theorems prove that under a uniform distribution over induction problems (search problems or learning problems), all induction algorithms perform equally. As I discuss in this chapter, the importance of the theorems arises by using them to analyze scenarios involving {non-uniform} distributions, and to compare different algorithms, without any assumption about the distribution over problems at all. In particular, the theorems prove that {anti}-cross-validation (choosing among a set of candidate algorithms based on which has {worst} out-of-sample behavior) performs as well as cross-validation, unless one makes an assumption -- which has never been formalized -- about how the distribution over induction problems, on the one hand, is related to the set of algorithms one is choosing among using (anti-)cross validation, on the other. In addition, they establish strong caveats concerning the significance of the many results in the literature which establish the strength of a particular algorithm without assuming a particular distribution. They also motivate a ``dictionary'' between supervised learning and improve blackbox optimization, which allows one to ``translate'' techniques from supervised learning into the domain of blackbox optimization, thereby strengthening blackbox optimization algorithms. In addition to these topics, I also briefly discuss their implications for philosophy of science.
• Abstract（参考訳）: no free lunch定理は、帰納問題(研究問題や学習問題)に対する一様分布の下で、すべての帰納アルゴリズムが等しく振る舞うことを証明している。 この章で論じたように、定理の重要性は、それらを用いて {non-uniform} 分布を含むシナリオを分析し、問題に対する分布について全く仮定することなく異なるアルゴリズムを比較することによって生じる。 特に、この定理は {anti}-cross-validation ( {worst} out-of-sample behavior") が、形式化されていない仮定をしない限り、 {anti}-cross-validation ( {worst} out-of-sample behavior) を持つ候補アルゴリズムの集合から選択する) が、(反)-cross Validation を用いて選択するアルゴリズムの集合とどのように関係しているかを証明している。 また,特定の分布を仮定することなく,特定のアルゴリズムの強みを確立する文学における多くの結果の意義について,強い注意点を定めている。 また、教師付き学習とブラックボックス最適化の改善の間に '`Dictionary'' を動機付け、教師付き学習からブラックボックス最適化の領域への '``translate'' 技術の適用を可能にし、ブラックボックス最適化アルゴリズムを強化する。 これらの話題に加えて、科学哲学へのその影響についても簡単に論じる。

関連論文リスト

• A quantitative Robbins-Siegmund theorem [0.0]
  我々は、Robins-Siegmund の定理の定量的バージョンを提供し、Tao の意味での転移性の領域を見つけるために、どこまで遠くを見る必要があるかという境界を定めている。 我々の証明は、Doobの定理のメタスタブルな類似で$L_$-supermartingalesと、プロセスの和や積を通じて量的情報がどのように伝播するかを正確に示す一連の技術的補題を含んでいる。
  論文  参考訳（メタデータ） (2024-10-21T13:16:29Z)
• Inference for an Algorithmic Fairness-Accuracy Frontier [0.9147443443422864]
  We provide a consistent estimator for a theoretical fairness-accuracy frontier forward by Liang, Lu and Mu (2023) フェアネス文学で注目されている仮説を検証するための推論手法を提案する。 サンプルサイズが大きくなるにつれて, 推定された支持関数が密なプロセスに収束することを示す。
  論文  参考訳（メタデータ） (2024-02-14T00:56:09Z)
• The Adversary Bound Revisited: From Optimal Query Algorithms to Optimal Control [0.0]
  このノートは"One-Way Ticket to Las Vegas and the Quantum Adversary"という論文を補完している。 私は、Barnum-Saks-Szegedyと同じ視点で、逆境界-普遍アルゴリズムの双対性を異なる形で開発する。
  論文  参考訳（メタデータ） (2022-11-29T15:25:45Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Optimal Algorithms for Decentralized Stochastic Variational Inequalities [113.43047601775453]
  この作業は、ますます重要になるが十分に理解されていない分散的な設定に集中する。 通信と局所的な繰り返しの両方の下位境界を示し、これらの下位境界に一致する最適なアルゴリズムを構築する。 我々のアルゴリズムは、分散化されたケースだけでなく、決定論的で非分散的な文献でも利用できる。
  論文  参考訳（メタデータ） (2022-02-06T13:14:02Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• Black-Box Optimization via Generative Adversarial Nets [6.46243851154653]
  我々は,ブラックボックス問題に対する探索をガイドするために,退化逆数ネット(OPT-GAN)を提案する。 OPT-GANは他の古典的BBOアルゴリズムよりも優れていることを示す実験がある。
  論文  参考訳（メタデータ） (2021-02-07T19:12:09Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Scalable Approximate Inference and Some Applications [2.6541211006790983]
  本稿では,近似推論のための新しいフレームワークを提案する。 提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。 シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
  論文  参考訳（メタデータ） (2020-03-07T04:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。