論文の概要: The Foes of Neural Network's Data Efficiency Among Unnecessary Input
Dimensions
- arxiv url: http://arxiv.org/abs/2107.06409v1
- Date: Tue, 13 Jul 2021 21:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 02:57:06.384799
- Title: The Foes of Neural Network's Data Efficiency Among Unnecessary Input
Dimensions
- Title(参考訳): 不要な入力次元間におけるニューラルネットワークのデータ効率のフォア
- Authors: Vanessa D'Amario, Sanjana Srivastava, Tomotake Sasaki, Xavier Boix
- Abstract要約: 本研究では,タスク非関連な入力次元がデータ効率を著しく低下させることを示す。
これは、データ効率の向上を可能にするためにタスク非関連次元を削除するメカニズムの必要性を強調します。
- 参考スコア(独自算出の注目度): 6.99674326582747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Datasets often contain input dimensions that are unnecessary to predict the
output label, e.g. background in object recognition, which lead to more
trainable parameters. Deep Neural Networks (DNNs) are robust to increasing the
number of parameters in the hidden layers, but it is unclear whether this holds
true for the input layer. In this letter, we investigate the impact of
unnecessary input dimensions on a central issue of DNNs: their data efficiency,
ie. the amount of examples needed to achieve certain generalization
performance. Our results show that unnecessary input dimensions that are
task-unrelated substantially degrade data efficiency. This highlights the need
for mechanisms that remove {task-unrelated} dimensions to enable data
efficiency gains.
- Abstract(参考訳): データセットはしばしば出力ラベルを予測するのに不要な入力次元を含む。
オブジェクト認識のバックグラウンドは、よりトレーニング可能なパラメータにつながります。
ディープニューラルネットワーク(DNN)は、隠れた層におけるパラメータの数を増やすために堅牢であるが、これが入力層に当てはまるかどうかは不明である。
本稿では,不必要な入力次元がDNNの中心的課題,すなわちデータ効率に与える影響について検討する。
特定の一般化性能を達成するのに必要な例の量。
その結果,タスク非関連な不必要な入力次元はデータ効率を著しく低下させることがわかった。
これは、データ効率の向上を可能にするために{task-unrelated}次元を取り除くメカニズムの必要性を強調している。
関連論文リスト
- Seeing is not always believing: The Space of Harmless Perturbations [20.132442083678914]
入力に印加した場合、ネットワークの出力が変化しない無害な摂動空間が存在することを示す。
我々の研究は、敵対的な例とは対照的に、ディープニューラルネットワーク(DNN)の独特な堅牢性を強調している。
論文 参考訳(メタデータ) (2024-02-03T09:22:07Z) - A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳(メタデータ) (2023-10-10T09:39:38Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。
我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。
Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
論文 参考訳(メタデータ) (2022-12-08T18:59:57Z) - The Effect of Data Dimensionality on Neural Network Prunability [28.845848452511955]
ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。
画像、テキスト、音声などの高次元の入力データに対して、多様体仮説はこれらの高次元の入力が、かなり低い次元の多様体の上または近くにあることを示唆している。
論文 参考訳(メタデータ) (2022-12-01T05:33:25Z) - Efficiently Finding Adversarial Examples with DNN Preprocessing [1.0775419935941009]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は至る所にあり、しばしばかなり複雑なタスクを実行します。
本稿では,DNNを前処理して収集した情報を用いて最適化問題を大幅に単純化する手法を提案する。
論文 参考訳(メタデータ) (2022-11-16T06:41:03Z) - RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting
and Output Merging [36.027765880474526]
Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。
本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。
ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
論文 参考訳(メタデータ) (2021-09-30T09:31:11Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-20T10:09:27Z) - Exploration of Input Patterns for Enhancing the Performance of Liquid
State Machines [3.747038478601968]
MLS(Liquid State Machine)は、SNN間のトレーニングコストの低さで広く認知されている。
入力スケール縮小がLSMに与える影響について検討する。
本研究では,チェスボードパターンによる入力の削減により,最大5%の精度向上を実現し,実行時間を最大50%削減できることを示す。
論文 参考訳(メタデータ) (2020-04-06T10:20:39Z) - Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。
RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。
ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文 参考訳(メタデータ) (2020-03-16T16:54:36Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。