Fugu-MT 論文翻訳(概要): The Foes of Neural Network's Data Efficiency Among Unnecessary Input Dimensions

論文の概要: The Foes of Neural Network's Data Efficiency Among Unnecessary Input Dimensions

arxiv url: http://arxiv.org/abs/2107.06409v1
Date: Tue, 13 Jul 2021 21:52:02 GMT
ステータス: 処理完了
システム内更新日: 2021-07-16 02:57:06.384799
Title: The Foes of Neural Network's Data Efficiency Among Unnecessary Input Dimensions
Title（参考訳）: 不要な入力次元間におけるニューラルネットワークのデータ効率のフォア
Authors: Vanessa D'Amario, Sanjana Srivastava, Tomotake Sasaki, Xavier Boix
Abstract要約: 本研究では,タスク非関連な入力次元がデータ効率を著しく低下させることを示す。これは、データ効率の向上を可能にするためにタスク非関連次元を削除するメカニズムの必要性を強調します。
参考スコア（独自算出の注目度）: 6.99674326582747
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Datasets often contain input dimensions that are unnecessary to predict the output label, e.g. background in object recognition, which lead to more trainable parameters. Deep Neural Networks (DNNs) are robust to increasing the number of parameters in the hidden layers, but it is unclear whether this holds true for the input layer. In this letter, we investigate the impact of unnecessary input dimensions on a central issue of DNNs: their data efficiency, ie. the amount of examples needed to achieve certain generalization performance. Our results show that unnecessary input dimensions that are task-unrelated substantially degrade data efficiency. This highlights the need for mechanisms that remove {task-unrelated} dimensions to enable data efficiency gains.
Abstract（参考訳）: データセットはしばしば出力ラベルを予測するのに不要な入力次元を含む。オブジェクト認識のバックグラウンドは、よりトレーニング可能なパラメータにつながります。ディープニューラルネットワーク(DNN)は、隠れた層におけるパラメータの数を増やすために堅牢であるが、これが入力層に当てはまるかどうかは不明である。本稿では,不必要な入力次元がDNNの中心的課題,すなわちデータ効率に与える影響について検討する。特定の一般化性能を達成するのに必要な例の量。その結果,タスク非関連な不必要な入力次元はデータ効率を著しく低下させることがわかった。これは、データ効率の向上を可能にするために{task-unrelated}次元を取り除くメカニズムの必要性を強調している。

関連論文リスト

DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
論文参考訳（メタデータ） (2024-10-09T05:16:44Z)
Seeing is not always believing: The Space of Harmless Perturbations [20.132442083678914]
入力に印加した場合、ネットワークの出力が変化しない無害な摂動空間が存在することを示す。我々の研究は、敵対的な例とは対照的に、ディープニューラルネットワーク(DNN)の独特な堅牢性を強調している。
論文参考訳（メタデータ） (2024-02-03T09:22:07Z)
A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文参考訳（メタデータ） (2023-10-10T09:39:38Z)
The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。違反の正確な数を返す新しい手法を提案する。安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文参考訳（メタデータ） (2023-01-17T18:32:01Z)
The Effect of Data Dimensionality on Neural Network Prunability [28.845848452511955]
ニューラルネットワークのプルーナビリティに寄与する可能性のある入力データの特性について検討する。画像、テキスト、音声などの高次元の入力データに対して、多様体仮説はこれらの高次元の入力が、かなり低い次元の多様体の上または近くにあることを示唆している。
論文参考訳（メタデータ） (2022-12-01T05:33:25Z)
Efficiently Finding Adversarial Examples with DNN Preprocessing [1.0775419935941009]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は至る所にあり、しばしばかなり複雑なタスクを実行します。本稿では,DNNを前処理して収集した情報を用いて最適化問題を大幅に単純化する手法を提案する。
論文参考訳（メタデータ） (2022-11-16T06:41:03Z)
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging [36.027765880474526]
Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
論文参考訳（メタデータ） (2021-09-30T09:31:11Z)
GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-04-20T10:09:27Z)
Exploration of Input Patterns for Enhancing the Performance of Liquid State Machines [3.747038478601968]
MLS(Liquid State Machine)は、SNN間のトレーニングコストの低さで広く認知されている。入力スケール縮小がLSMに与える影響について検討する。本研究では,チェスボードパターンによる入力の削減により,最大5%の精度向上を実現し,実行時間を最大50%削減できることを示す。
論文参考訳（メタデータ） (2020-04-06T10:20:39Z)
Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
論文参考訳（メタデータ） (2020-03-16T16:54:36Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。