論文の概要: A neural anisotropic view of underspecification in deep learning

• arxiv url: http://arxiv.org/abs/2104.14372v1
• Date: Thu, 29 Apr 2021 14:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 13:11:30.739547
• Title: A neural anisotropic view of underspecification in deep learning
• Title（参考訳）: 深層学習における不特定性の神経異方性
• Authors: Guillermo Ortiz-Jimenez, Itamar Franco Salazar-Reque, Apostolos Modas, Seyed-Mohsen Moosavi-Dezfooli, Pascal Frossard
• Abstract要約: ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
• 参考スコア（独自算出の注目度）: 60.119023683371736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The underspecification of most machine learning pipelines means that we cannot rely solely on validation performance to assess the robustness of deep learning systems to naturally occurring distribution shifts. Instead, making sure that a neural network can generalize across a large number of different situations requires to understand the specific way in which it solves a task. In this work, we propose to study this problem from a geometric perspective with the aim to understand two key characteristics of neural network solutions in underspecified settings: how is the geometry of the learned function related to the data representation? And, are deep networks always biased towards simpler solutions, as conjectured in recent literature? We show that the way neural networks handle the underspecification of these problems is highly dependent on the data representation, affecting both the geometry and the complexity of the learned predictors. Our results highlight that understanding the architectural inductive bias in deep learning is fundamental to address the fairness, robustness, and generalization of these systems.
• Abstract（参考訳）: ほとんどの機械学習パイプラインの下位仕様化は、自然発生する分散シフトに対するディープラーニングシステムの堅牢性を評価するために、バリデーションパフォーマンスのみに頼ることはできないことを意味する。 代わりに、ニューラルネットワークが多数の異なる状況にまたがって一般化できるようにするためには、タスクを解く特定の方法を理解する必要がある。 本研究では,学習関数の幾何学はどのようにデータ表現に関連しているかという,ニューラルネットワークの解の2つの重要な特徴を理解することを目的として,幾何学的な観点からこの問題を研究することを提案する。 そして、最近の文献で予想されているように、ディープネットワークは常に単純なソリューションに偏っているのだろうか? ニューラルネットワークがこれらの問題の不特定性を処理する方法は、データ表現に大きく依存していることを示し、学習した予測子の幾何学的および複雑さに影響を与える。 この結果から,ディープラーニングにおけるアーキテクチャ帰納的バイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処するための基本的手法であることが示唆された。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。