論文の概要: Upper bounds on the Natarajan dimensions of some function classes
- arxiv url: http://arxiv.org/abs/2209.07015v1
- Date: Thu, 15 Sep 2022 03:10:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:10:51.653977
- Title: Upper bounds on the Natarajan dimensions of some function classes
- Title(参考訳): いくつかの関数クラスのナタラジャン次元の上界
- Authors: Ying Jin
- Abstract要約: この注記は、ある函数類に対するナタラジャン次元上の上限を確立する。
これらの結果は、ある種のマルチクラス学習アルゴリズムの性能を記述することに関係しているかもしれない。
- 参考スコア(独自算出の注目度): 4.251138364820131
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Natarajan dimension is a fundamental tool for characterizing multi-class
PAC learnability, generalizing the Vapnik-Chervonenkis (VC) dimension from
binary to multi-class classification problems. This note establishes upper
bounds on Natarajan dimensions for certain function classes, including (i)
multi-class decision tree and random forests, and (ii) multi-class neural
networks with binary, linear and ReLU activations. These results may be
relevant for describing the performance of certain multi-class learning
algorithms.
- Abstract(参考訳): ナタラジャン次元は多クラスPAC学習可能性を特徴づける基本的なツールであり、Vapnik-Chervonenkis(VC)次元を二進法から多クラス分類問題に一般化する。
このノートは、ある函数類に対するナタラジャン次元の上界を定めている。
(i)多級決定木及びランダム森林、及び
(II)バイナリ、リニア、ReLUアクティベーションを持つマルチクラスニューラルネットワーク。
これらの結果は、ある種の多クラス学習アルゴリズムのパフォーマンスを記述するのに関係があるかもしれない。
関連論文リスト
- How Deep Neural Networks Learn Compositional Data: The Random Hierarchy
Model [50.45582596865073]
言語と画像の階層構造にインスパイアされた合成タスクのファミリーであるランダム階層モデルを紹介する。
深層ネットワークは、等価なグループを交換するために不変な内部表現を開発することでタスクを学習する。
この結果から, ネットワークは次元の呪いを克服し, 不変表現を構築できることが示唆された。
論文 参考訳(メタデータ) (2023-07-05T09:11:09Z) - Multiclass classification for multidimensional functional data through
deep neural networks [0.22843885788439797]
革新的なデータマイニング分類ツールとして,新しい機能深層ニューラルネットワーク(mfDNN)を導入する。
線形単位(ReLU)アクティベーション機能を持つ疎いディープニューラルネットワークアーキテクチャを考察し,マルチクラス分類設定におけるクロスエントロピー損失を最小化する。
シミュレーションデータと異なるアプリケーションドメインのベンチマークデータセットにおけるmfDNNの性能を示す。
論文 参考訳(メタデータ) (2023-05-22T16:56:01Z) - Deep neural network approximation of composite functions without the
curse of dimensionality [0.0]
本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。
クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
論文 参考訳(メタデータ) (2023-04-12T12:08:59Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Generalization for multiclass classification with overparameterized
linear models [3.3434274586532515]
クラスが多すぎる限り、多クラス分類は二分分類のように振る舞うことが示される。
様々な技術的課題に加えて、二項分類設定との大きな違いは、クラス数が増加するにつれて、各クラスの正のトレーニング例がマルチクラス設定で比較的少ないことである。
論文 参考訳(メタデータ) (2022-06-03T05:52:43Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - A Characterization of Multiclass Learnability [18.38631912121182]
DS次元はDanielyとShalev-Shwartz 2014によって定義された次元である。
リスト学習設定では、与えられた未知の入力に対して単一の結果を予測する代わりに、予測の短いメニューを提供することが目標である。
2つ目の主な成果は、多クラス学習の可能性を特徴づける中心的な候補であるナタラジャン次元に関するものである。
論文 参考訳(メタデータ) (2022-03-03T07:41:54Z) - Primal and Dual Combinatorial Dimensions [2.208242292882514]
最初は、関数クラスの双対次元をその原始性の観点から有界にし、その後(ほとんど)一致する下界を与えるいくつかの(フォークロア)結果についてレビューする。
特に、Assouad (1983) によるよく知られた有界な多値函数クラスに対して適切な一般化を与える。
論文 参考訳(メタデータ) (2021-08-23T09:58:59Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。