Fugu-MT 論文翻訳(概要): Approximate Description Length, Covering Numbers, and VC Dimension

論文の概要: Approximate Description Length, Covering Numbers, and VC Dimension

arxiv url: http://arxiv.org/abs/2209.12882v1
Date: Mon, 26 Sep 2022 17:53:29 GMT
ステータス: 処理完了
システム内更新日: 2022-09-27 15:31:03.020594
Title: Approximate Description Length, Covering Numbers, and VC Dimension
Title（参考訳）: 近似記述長、被覆数、VC次元
Authors: Amit Daniely and Gal Katzhendler
Abstract要約: DanielyとGranotは、ADL(Approximate Description Length)と呼ばれる新しい複雑性の概念を導入した。本稿では,ADLが包含数やVC次元といった関数複雑性の古典的概念とどのように関連しているのかを考察する。距離が実数である関数に対して、ADLは本質的にこれらの古典的複雑性測度と同値である。
参考スコア（独自算出の注目度）: 27.374589803147025
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently, Daniely and Granot [arXiv:1910.05697] introduced a new notion of complexity called Approximate Description Length (ADL). They used it to derive novel generalization bounds for neural networks, that despite substantial work, were out of reach for more classical techniques such as discretization, Covering Numbers and Rademacher Complexity. In this paper we explore how ADL relates to classical notions of function complexity such as Covering Numbers and VC Dimension. We find that for functions whose range is the reals, ADL is essentially equivalent to these classical complexity measures. However, this equivalence breaks for functions with high dimensional range.
Abstract（参考訳）: 最近、Daniely と Granot (arXiv:1910.05697) は Approximate Description Length (ADL) と呼ばれる複雑さの概念を導入した。彼らはこれをニューラルネットワークの新たな一般化境界の導出に用い、実質的な作業にもかかわらず、離散化、被覆数、ラデマッハ複雑性といったより古典的な手法には届かなかった。本稿では,数やvc次元など関数複雑性の古典的概念とadlの関係について考察する。範囲が実数である函数に対して、adlは本質的にこれらの古典的複雑性測度と同値である。しかし、この同値性は高次元範囲の函数に対して破れる。

関連論文リスト

Structure of universal formulas [13.794391803767617]
本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
論文参考訳（メタデータ） (2023-11-07T11:50:25Z)
Deep neural network approximation of composite functions without the curse of dimensionality [0.0]
本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
論文参考訳（メタデータ） (2023-04-12T12:08:59Z)
Bayes Complexity of Learners vs Overfitting [4.873362301533825]
関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
論文参考訳（メタデータ） (2023-03-13T13:07:02Z)
Benchmarking Compositionality with Formal Languages [64.09083307778951]
我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
論文参考訳（メタデータ） (2022-08-17T10:03:18Z)
On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
論文参考訳（メタデータ） (2022-08-08T17:24:04Z)
Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文参考訳（メタデータ） (2022-02-08T16:39:57Z)
Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
論文参考訳（メタデータ） (2021-07-06T19:51:37Z)
A Short Note on the Relationship of Information Gain and Eluder Dimension [86.86653394312134]
エルダー次元と情報ゲインは、カーネルヒルベルト空間を再現する正確な意味で等価であることを示す。これは偶然ではなく、エルダー次元と情報ゲインは、カーネルヒルベルト空間を再現する正確な意味で等価であることを示す。
論文参考訳（メタデータ） (2021-07-06T04:01:22Z)
Bilinear Classes: A Structural Framework for Provable Generalization in RL [119.42509700822484]
Bilinear Classesは強化学習の一般化を可能にする新しい構造フレームワークである。このフレームワークは、サンプルの複雑さが達成可能な、ほとんどすべての既存のモデルを取り込んでいる。我々の主な成果は、双線形クラスのためのサンプル複雑性を持つRLアルゴリズムである。
論文参考訳（メタデータ） (2021-03-19T16:34:20Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。