論文の概要: Do Deep Neural Networks Always Perform Better When Eating More Data?
- arxiv url: http://arxiv.org/abs/2205.15187v1
- Date: Mon, 30 May 2022 15:40:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 19:38:22.631313
- Title: Do Deep Neural Networks Always Perform Better When Eating More Data?
- Title（参考訳）: ディープニューラルネットワークは、より多くのデータを食べるときに常に改善されるか?
- Authors: Jiachen Yang, Zhuo Zhang, Yicheng Gong, Shukun Ma, Xiaolan Guo, Yue
Yang, Shuai Xiao, Jiabao Wen, Yang Li, Xinbo Gao, Wen Lu and Qinggang Meng
- Abstract要約: Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。
IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。
OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
- 参考スコア（独自算出の注目度）: 82.6459747000664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data has now become a shortcoming of deep learning. Researchers in their own
fields share the thinking that "deep neural networks might not always perform
better when they eat more data," which still lacks experimental validation and
a convincing guiding theory. Here to fill this lack, we design experiments from
Identically Independent Distribution(IID) and Out of Distribution(OOD), which
give powerful answers. For the purpose of guidance, based on the discussion of
results, two theories are proposed: under IID condition, the amount of
information determines the effectivity of each sample, the contribution of
samples and difference between classes determine the amount of sample
information and the amount of class information; under OOD condition, the
cross-domain degree of samples determine the contributions, and the
bias-fitting caused by irrelevant elements is a significant factor of
cross-domain. The above theories provide guidance from the perspective of data,
which can promote a wide range of practical applications of artificial
intelligence.
- Abstract（参考訳）: 現在、データはディープラーニングの欠点となっている。
彼らの分野の研究者は、"深層ニューラルネットワークはより多くのデータを食べるときに常にうまく機能するとは限らない"という考えを共有している。
ここでは、この不足を補うために、Identically Independent Distribution(IID)とOut of Distribution(OOD)の実験を設計し、強力な回答を与えます。
IID条件下では, サンプルの有効性を決定する情報量, クラス間の寄与量, クラス間の差がサンプル情報量とクラス情報の量を決定する, OOD条件下では, サンプルのクロスドメイン度が寄与を決定, 無関係要素によるバイアス適合はクロスドメインの重要な要素である, という2つの理論が提案されている。
上記の理論は、データの観点からのガイダンスを提供し、人工知能の幅広い実践的応用を促進することができる。
関連論文リスト
- Dimensionality-induced information loss of outliers in deep neural networks [29.15751143793406]
ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である
複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。
特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-10-29T01:52:46Z) - Hypothesis-Driven Deep Learning for Out of Distribution Detection [0.8191518216608217]
本稿では,新しいサンプルがInDなのかOoDなのかを定量化する仮説駆動型手法を提案する。
細菌のサンプルを学習した深層学習モデルに適応させ,InDとOoDの潜伏反応の解釈的差異を明らかにする。
論文 参考訳（メタデータ） (2024-03-21T01:06:47Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Improving the Level of Autism Discrimination through GraphRNN Link
Prediction [8.103074928419527]
本稿では,GraphRNNを用いて実脳ネットワークのエッジ分布を学習する後者の手法に基づく。
実験の結果,オリジナルデータと合成データの組み合わせはニューラルネットワークの識別を大幅に改善することがわかった。
論文 参考訳（メタデータ） (2022-02-19T06:50:32Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳（メタデータ） (2021-02-09T20:28:35Z) - Deep Transparent Prediction through Latent Representation Analysis [0.0]
本稿では,訓練されたディープニューラルネットワーク(DNN)から潜時情報を抽出し,予測目的のために効果的で統一された方法で解析された簡潔な表現を導出する,新しいディープラーニング手法を提案する。
透明性と高い予測精度を組み合わせることが、提案手法の目標である。
論文 参考訳（メタデータ） (2020-09-13T19:21:40Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。