Fugu-MT 論文翻訳(概要): Which Algorithms Have Tight Generalization Bounds?

論文の概要: Which Algorithms Have Tight Generalization Bounds?

arxiv url: http://arxiv.org/abs/2410.01969v1
Date: Wed, 2 Oct 2024 19:24:57 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 09:44:41.943373
Title: Which Algorithms Have Tight Generalization Bounds?
Title（参考訳）: どのアルゴリズムに一般化境界があるのか?
Authors: Michael Gastpar, Ido Nachum, Jonathan Shafer, Thomas Weinberger,
Abstract要約: 我々は、どの機械学習アルゴリズムが厳密な一般化境界を持つかを研究する。ある種の帰納バイアスが不安定なアルゴリズムは、厳密な一般化境界を認めないことを示す。我々は、アルゴリズムの損失の条件的分散に、厳密な一般化境界の存在を関連づけた、簡単な特徴付けで結論付ける。
参考スコア（独自算出の注目度）: 13.364505088105508
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We study which machine learning algorithms have tight generalization bounds. First, we present conditions that preclude the existence of tight generalization bounds. Specifically, we show that algorithms that have certain inductive biases that cause them to be unstable do not admit tight generalization bounds. Next, we show that algorithms that are sufficiently stable do have tight generalization bounds. We conclude with a simple characterization that relates the existence of tight generalization bounds to the conditional variance of the algorithm's loss.
Abstract（参考訳）: 我々は、どの機械学習アルゴリズムが厳密な一般化境界を持つかを研究する。まず、厳密な一般化境界の存在を妨げる条件を示す。具体的には、ある帰納バイアスが不安定となるアルゴリズムは、厳密な一般化境界を含まないことを示す。次に、十分に安定なアルゴリズムは、厳密な一般化境界を持つことを示す。我々は、アルゴリズムの損失の条件的分散に、厳密な一般化境界の存在を関連づけた、簡単な特徴付けで結論付ける。

関連論文リスト

Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。本稿では,古典的および量子速度歪み理論に適用可能な凸最適化自由アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-10T06:16:24Z)
Evaluating Genetic Algorithms through the Approximability Hierarchy [55.938644481736446]
本稿では,問題の近似クラスに依存する遺伝的アルゴリズムの有用性を解析する。特に, 遺伝的アルゴリズムは階層の最も悲観的なクラスに特に有用であることを示す。
論文参考訳（メタデータ） (2024-02-01T09:18:34Z)
When can you trust feature selection? -- I: A condition-based analysis of LASSO and generalised hardness of approximation [49.1574468325115]
近似入力を読み取る際に、LASSOのミニミサの正しいサポートセットを(確率$>1/2$で)決定できないことを示す。不適切な入力の場合、アルゴリズムは永遠に動作するので、間違った答えを出すことはない。無限条件数を持つ点を含む開集合上で定義される任意のアルゴリズムに対して、アルゴリズムが永久に実行されるか、間違った解を生成するような入力が存在する。
論文参考訳（メタデータ） (2023-12-18T18:29:01Z)
Fantastic Generalization Measures are Nowhere to be Found [14.599761709255917]
本研究では,一様に密接な一般化の概念について検討し,人口減少との差が小さいことを示す。ニューラルネットワークの一般化能力の潜在的な説明として、多くの一般化境界が文献で提案されている。
論文参考訳（メタデータ） (2023-09-24T14:53:51Z)
Invex Programs: First Order Algorithms and Their Convergence [66.40124280146863]
Invexプログラムは、固定点ごとに世界最小値が得られる特別な非制約問題である。そこで我々は,超凸問題における一般収束率を解くために,新しい一階法アルゴリズムを提案する。提案アルゴリズムは,制約付き凸プログラムを解く最初のアルゴリズムである。
論文参考訳（メタデータ） (2023-07-10T10:11:01Z)
Robust and Space-Efficient Dual Adversary Quantum Query Algorithms [0.0]
一般逆双対は量子コンピューティングの強力なツールである。ブール関数を決定するクェリ最適境界エラー量子補題を与える。ほぼ満足のいく制約を処理できる頑健な二重対向アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-06-26T19:59:30Z)
The Adversary Bound Revisited: From Optimal Query Algorithms to Optimal Control [0.0]
このノートは"One-Way Ticket to Las Vegas and the Quantum Adversary"という論文を補完している。私は、Barnum-Saks-Szegedyと同じ視点で、逆境界-普遍アルゴリズムの双対性を異なる形で開発する。
論文参考訳（メタデータ） (2022-11-29T15:25:45Z)
Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
論文参考訳（メタデータ） (2020-07-18T09:12:03Z)
The limits of min-max optimization algorithms: convergence to spurious non-critical sets [82.74514886461257]
min-max最適化アルゴリズムは周期サイクルや同様の現象が存在するため、はるかに大きな問題に遭遇する。問題のどの点も引き付けないアルゴリズムが存在することを示す。ほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほぼほとんどである。
論文参考訳（メタデータ） (2020-06-16T10:49:27Z)
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study [43.586269524826854]
暗黙の正則化は最適化の一般化の傾向を、よく一般化されるある構造化された解へ向けたものである。グラディエントDescent(SGD)の一般化能力を規定する電子分布に依存しない暗黙正則化器の存在を規定する簡単な構成を提供する。次に, 強凸正則化や非退化ノルムベース正則化を含む一般化の説明から, 電子分布依存型暗黙正則化の非常に一般的なクラスを規定する学習問題を示す。
論文参考訳（メタデータ） (2020-03-13T08:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。