Fugu-MT 論文翻訳(概要): Predicting Generalization in Deep Learning via Local Measures of Distortion

論文の概要: Predicting Generalization in Deep Learning via Local Measures of Distortion

arxiv url: http://arxiv.org/abs/2012.06969v2
Date: Wed, 16 Dec 2020 02:22:46 GMT
ステータス: 処理完了
システム内更新日: 2021-05-09 19:36:43.659409
Title: Predicting Generalization in Deep Learning via Local Measures of Distortion
Title（参考訳）: 局所的歪み尺度による深層学習の一般化予測
Authors: Abhejit Rajagopal, Vamshi C. Madala, Shivkumar Chandrasekaran, Peder E. Z. Larson
Abstract要約: 近似や情報理論で開発された複雑性対策に訴えることで、深層学習の一般化を研究する。我々は,PCA,GMM,SVMといった単純なベクトル量子化手法が,階層的に深層抽出に応用した場合の精神を捉えていることを示す。
参考スコア（独自算出の注目度）: 7.806155368334511
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study generalization in deep learning by appealing to complexity measures originally developed in approximation and information theory. While these concepts are challenged by the high-dimensional and data-defined nature of deep learning, we show that simple vector quantization approaches such as PCA, GMMs, and SVMs capture their spirit when applied layer-wise to deep extracted features giving rise to relatively inexpensive complexity measures that correlate well with generalization performance. We discuss our results in 2020 NeurIPS PGDL challenge.
Abstract（参考訳）: 近似と情報理論で開発された複雑性尺度に訴えることにより,ディープラーニングの一般化を研究する。これらの概念は、深層学習の高次元的・データ定義的な性質から問題視されているが、PCA、GMM、SVMといった単純なベクトル量子化アプローチは、階層的に深層抽出された特徴を応用した場合に、一般化性能とよく相関する比較的安価な複雑さ対策をもたらすことを示す。我々は2020年のNeurIPS PGDLチャレンジの結果について論じる。

関連論文リスト

Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
論文参考訳（メタデータ） (2024-07-11T17:56:03Z)
On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
論文参考訳（メタデータ） (2023-06-08T18:07:02Z)
GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文参考訳（メタデータ） (2022-11-03T16:42:40Z)
Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。理論的知見は実験によってさらに検証される。
論文参考訳（メタデータ） (2022-06-18T07:22:57Z)
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability [92.95794652625496]
総合化は強化学習システムの展開における中心的な課題である。限られた訓練条件から検査条件を特定できないように一般化することは、暗黙的な部分観察可能性をもたらすことを示す。我々は、RLにおける一般化の問題を、部分的に観察されたマルコフ決定過程の解法として再考した。
論文参考訳（メタデータ） (2021-07-13T17:59:25Z)
Evaluation of Complexity Measures for Deep Learning Generalization in Medical Image Analysis [77.34726150561087]
PAC-ベイズ平坦度とパスノルムに基づく測度は、モデルとデータの組み合わせについて最も一貫した説明をもたらす。また,乳房画像に対するマルチタスク分類とセグメンテーションのアプローチについても検討した。
論文参考訳（メタデータ） (2021-03-04T20:58:22Z)
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task [0.0]
本報告では,大会の8位を達成したユーザEmphsmeznarが提出したソリューションについて述べる。提案手法では、単純なメトリクスを作成し、提供されたデータセット上での自動テストと最適な組み合わせを見つけ、入力ニューラルネットワークアーキテクチャの様々な特性の組み合わせが、それらの一般化の予測にどのように役立つかを検討する。
論文参考訳（メタデータ） (2020-12-16T17:59:13Z)
NeurIPS 2020 Competition: Predicting Generalization in Deep Learning [0.0]
深層学習における一般化を理解することは、深層学習における最も重要な質問の1つである。我々は,モデルの一般化を正確に予測できる複雑性尺度の提案をコミュニティに依頼する。
論文参考訳（メタデータ） (2020-12-14T22:21:37Z)
Representation Based Complexity Measures for Predicting Generalization in Deep Learning [0.0]
ディープニューラルネットワークは、非常に過度にパラメータ化されているにもかかわらず、一般化することができる。近年の研究では、様々な観点からこの現象を検証している。内部表現の質の観点から一般化の解釈を提供する。
論文参考訳（メタデータ） (2020-12-04T18:53:44Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。