論文の概要: Meet You Halfway: Explaining Deep Learning Mysteries

• arxiv url: http://arxiv.org/abs/2206.04463v1
• Date: Thu, 9 Jun 2022 12:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:52:47.829976
• Title: Meet You Halfway: Explaining Deep Learning Mysteries
• Title（参考訳）: 深層学習の謎を語る
• Authors: Oriel BenShmuel
• Abstract要約: 本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 なぜニューラルネットワークは一般化能力を獲得するのか? 我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks perform exceptionally well on various learning tasks with state-of-the-art results. While these models are highly expressive and achieve impressively accurate solutions with excellent generalization abilities, they are susceptible to minor perturbations. Samples that suffer such perturbations are known as "adversarial examples". Even though deep learning is an extensively researched field, many questions about the nature of deep learning models remain unanswered. In this paper, we introduce a new conceptual framework attached with a formal description that aims to shed light on the network's behavior and interpret the behind-the-scenes of the learning process. Our framework provides an explanation for inherent questions concerning deep learning. Particularly, we clarify: (1) Why do neural networks acquire generalization abilities? (2) Why do adversarial examples transfer between different models?. We provide a comprehensive set of experiments that support this new framework, as well as its underlying theory.
• Abstract（参考訳）: ディープニューラルネットワークは、最先端の結果を持つさまざまな学習タスクにおいて、非常によく機能する。 これらのモデルは非常に表現力が高く、優れた一般化能力を持つ驚くほど正確な解が得られるが、小さな摂動の影響を受けやすい。 このような摂動に苦しむサンプルは、"adversarial examples"として知られる。 ディープラーニングは広く研究されている分野であるが、ディープラーニングモデルの性質に関する多くの疑問は未解決のままである。 本稿では,ネットワークの動作に光を当て,学習過程の裏側を解釈することを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 我々のフレームワークは、ディープラーニングに関する本質的な質問の説明を提供する。 特に,(1)ニューラルネットワークが一般化能力を獲得する理由を明らかにする。 (2) 異なるモデル間の逆転例はなぜ存在するのか? . 我々は、この新しいフレームワークとその基礎となる理論をサポートする包括的な実験セットを提供する。

関連論文リスト

• Theoretical Understanding of Learning from Adversarial Perturbations [30.759348459463467]
  敵の例がなぜニューラルネットワークを騙し、異なるネットワーク間で転送できるのかは、完全には理解されていない。 本研究では,一層ネットワークを用いた摂動からの学習の理論的枠組みを提案する。 以上の結果から,数ピクセルの摂動を含む様々な対向的摂動は,一般化に十分なクラス特徴を含むことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-16T06:22:44Z)
• On information captured by neural networks: connections with memorization and generalization [4.082286997378594]
  トレーニング中にニューラルネットワークが取得した情報について検討する。 非空の一般化ギャップ境界を導出することで、例情報性と一般化を関連付ける。 全体として、我々の研究結果はニューラルネットワークの一般化のメカニズムのより深い理解に寄与している。
  論文  参考訳（メタデータ） (2023-06-28T04:46:59Z)
• Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
  我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。 筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
  論文  参考訳（メタデータ） (2022-04-22T16:43:39Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Explaining Deep Neural Networks [12.100913944042972]
  医療、金融、法律など様々な分野において、人工知能システムによる意思決定の背後にある理由を知ることが重要である。 この論文は、ディープニューラルネットワークを説明する2つの主要な方向について考察する。
  論文  参考訳（メタデータ） (2020-10-04T07:23:13Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Exploiting Contextual Information with Deep Neural Networks [5.787117733071416]
  文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。 この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
  論文  参考訳（メタデータ） (2020-06-21T03:40:30Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。