論文の概要: On information captured by neural networks: connections with memorization and generalization

• arxiv url: http://arxiv.org/abs/2306.15918v1
• Date: Wed, 28 Jun 2023 04:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 15:45:30.679538
• Title: On information captured by neural networks: connections with memorization and generalization
• Title（参考訳）: ニューラルネットワークが捉えた情報:記憶と一般化とのつながり
• Authors: Hrayr Harutyunyan
• Abstract要約: トレーニング中にニューラルネットワークが取得した情報について検討する。 非空の一般化ギャップ境界を導出することで、例情報性と一般化を関連付ける。 全体として、我々の研究結果はニューラルネットワークの一般化のメカニズムのより深い理解に寄与している。
• 参考スコア（独自算出の注目度）: 4.082286997378594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the popularity and success of deep learning, there is limited understanding of when, how, and why neural networks generalize to unseen examples. Since learning can be seen as extracting information from data, we formally study information captured by neural networks during training. Specifically, we start with viewing learning in presence of noisy labels from an information-theoretic perspective and derive a learning algorithm that limits label noise information in weights. We then define a notion of unique information that an individual sample provides to the training of a deep network, shedding some light on the behavior of neural networks on examples that are atypical, ambiguous, or belong to underrepresented subpopulations. We relate example informativeness to generalization by deriving nonvacuous generalization gap bounds. Finally, by studying knowledge distillation, we highlight the important role of data and label complexity in generalization. Overall, our findings contribute to a deeper understanding of the mechanisms underlying neural network generalization.
• Abstract（参考訳）: ディープラーニングの人気と成功にもかかわらず、ニューラルネットワークが未知の例に一般化する時期、方法、理由の理解は限られている。 学習はデータから情報を取り出すものとして見ることができるので、トレーニング中にニューラルネットワークが取得した情報を正式に研究する。 具体的には,情報理論的な観点から雑音ラベルの存在下での学習から始め,ラベル雑音情報を重み付けに制限する学習アルゴリズムを導出する。 次に、個々のサンプルがディープネットワークのトレーニングに与えるユニークな情報の概念を定義し、非定型的、曖昧、あるいは過度に表現されたサブポピュレーションに属する例のニューラルネットワークの振る舞いに光を当てる。 非空の一般化ギャップ境界を導出することで、例情報性と一般化を関連付ける。 最後に, 知識蒸留の研究により, 一般化におけるデータとラベルの複雑さの重要性を浮き彫りにする。 その結果,ニューラルネットワークの一般化のメカニズムの理解を深めることができた。

関連論文リスト

• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization [40.21297628440919]
  我々は、ニューラルネットワークの一般化の限界を探求する新しいベンチマーク、Pointer Value Retrieval(PVR)タスクを導入する。 PVRタスクは視覚的および記号的な入力で構成され、それぞれが様々な難易度を持つ。 このタスク構造が一般化を理解するための豊富なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2021-07-27T03:50:31Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。