論文の概要: Complexity of Representations in Deep Learning

• arxiv url: http://arxiv.org/abs/2209.00525v1
• Date: Thu, 1 Sep 2022 15:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:25:32.673620
• Title: Complexity of Representations in Deep Learning
• Title（参考訳）: 深層学習における表現の複雑さ
• Authors: Tin Kam Ho
• Abstract要約: データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。 データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
• 参考スコア（独自算出の注目度）: 2.0219767626075438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks use multiple layers of functions to map an object represented by an input vector progressively to different representations, and with sufficient training, eventually to a single score for each class that is the output of the final decision function. Ideally, in this output space, the objects of different classes achieve maximum separation. Motivated by the need to better understand the inner working of a deep neural network, we analyze the effectiveness of the learned representations in separating the classes from a data complexity perspective. Using a simple complexity measure, a popular benchmarking task, and a well-known architecture design, we show how the data complexity evolves through the network, how it changes during training, and how it is impacted by the network design and the availability of training samples. We discuss the implications of the observations and the potentials for further studies.
• Abstract（参考訳）: ディープニューラルネットワークは、複数の関数層を使用して、入力ベクトルで表されるオブジェクトを、異なる表現に段階的にマッピングし、十分なトレーニングで、最終的な決定関数の出力である各クラスの単一のスコアにマッピングする。 理想的には、この出力空間において、異なるクラスのオブジェクトは最大分離を達成する。 深層ニューラルネットワークの内部動作をよりよく理解する必要性から、データ複雑性の観点からクラスを分離する際の学習された表現の有効性を分析する。 単純な複雑性尺度、一般的なベンチマークタスク、よく知られたアーキテクチャ設計を用いて、データ複雑性がネットワークを通してどのように進化するか、トレーニング中にどのように変化するのか、そしてそれがネットワーク設計やトレーニングサンプルの可用性にどのように影響するかを示す。 我々は,観測の意義と今後の研究の可能性について議論する。

関連論文リスト

• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Simultaneous Learning of the Inputs and Parameters in Neural Collaborative Filtering [5.076419064097734]
  入力のゼロでない要素は学習可能なパラメータであり、ユーザ/イテム埋め込みを組み合わせる際の重みを決定する。 本稿では,入力のゼロでない要素の値をニューラルネットワークパラメータと組み合わせて学習することを提案する。
  論文  参考訳（メタデータ） (2022-03-14T19:47:38Z)
• Network Comparison Study of Deep Activation Feature Discriminability with Novel Objects [0.5076419064097732]
  最先端のコンピュータビジョンアルゴリズムは、Deep Neural Networks(DNN)を特徴抽出に取り入れ、Deep Convolutional Activation Features(DeCAF)を作成する。 本研究では、6つの主要な視覚認識DNNアーキテクチャのDeCAF空間に符号化された新しい物体の視覚的外観の一般的な識別可能性について分析する。
  論文  参考訳（メタデータ） (2022-02-08T07:40:53Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
  画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。 近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。 本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
  論文  参考訳（メタデータ） (2020-06-17T02:55:34Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Finding the Optimal Network Depth in Classification Tasks [10.248235276871258]
  複数の分類器ヘッドを用いた軽量ニューラルネットワークの高速エンドツーエンド学習法を開発した。 モデルが各ヘッドの重要性を決定することによって、ネットワークの不要なコンポーネントを検出し、取り除くことができる。
  論文  参考訳（メタデータ） (2020-04-17T11:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。