論文の概要: Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization

• arxiv url: http://arxiv.org/abs/2107.12580v1
• Date: Tue, 27 Jul 2021 03:50:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:58:04.409765
• Title: Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization
• Title（参考訳）: Pointer Value Retrieval: ニューラルネットワークの一般化の限界を理解するための新しいベンチマーク
• Authors: Chiyuan Zhang, Maithra Raghu, Jon Kleinberg, Samy Bengio
• Abstract要約: 我々は、ニューラルネットワークの一般化の限界を探求する新しいベンチマーク、Pointer Value Retrieval(PVR)タスクを導入する。 PVRタスクは視覚的および記号的な入力で構成され、それぞれが様々な難易度を持つ。 このタスク構造が一般化を理解するための豊富なテストベッドを提供することを示す。
• 参考スコア（独自算出の注目度）: 40.21297628440919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The successes of deep learning critically rely on the ability of neural networks to output meaningful predictions on unseen data -- generalization. Yet despite its criticality, there remain fundamental open questions on how neural networks generalize. How much do neural networks rely on memorization -- seeing highly similar training examples -- and how much are they capable of human-intelligence styled reasoning -- identifying abstract rules underlying the data? In this paper we introduce a novel benchmark, Pointer Value Retrieval (PVR) tasks, that explore the limits of neural network generalization. While PVR tasks can consist of visual as well as symbolic inputs, each with varying levels of difficulty, they all have a simple underlying rule. One part of the PVR task input acts as a pointer, giving the location of a different part of the input, which forms the value (and output). We demonstrate that this task structure provides a rich testbed for understanding generalization, with our empirical study showing large variations in neural network performance based on dataset size, task complexity and model architecture. The interaction of position, values and the pointer rule also allow the development of nuanced tests of generalization, by introducing distribution shift and increasing functional complexity. These reveal both subtle failures and surprising successes, suggesting many promising directions of exploration on this benchmark.
• Abstract（参考訳）: ディープラーニングの成功は、目に見えないデータに対して有意義な予測を出力するニューラルネットワークの能力 -- 一般化に依存している。 しかし、その批判にもかかわらず、ニューラルネットワークの一般化に関する根本的なオープンな疑問は残る。 ニューラルネットワークは、暗記 – 非常に類似したトレーニング例を見る -- にどの程度依存しているか、そして、データの基礎となる抽象的なルールを人間の知能スタイル推論によって特定できるのか? 本稿では、ニューラルネットワークの一般化の限界を探求する新しいベンチマーク、Pointer Value Retrieval(PVR)タスクを紹介する。 pvrタスクは視覚的かつ象徴的な入力で構成され、それぞれ異なるレベルの難易度を持つが、いずれも単純なルールを持つ。 PVRタスクの入力の一部がポインタとして機能し、入力の異なる部分の位置を与え、値(および出力)を形成する。 我々は、このタスク構造が一般化を理解するための豊富なテストベッドを提供することを実証し、データセットのサイズ、タスク複雑性、モデルアーキテクチャに基づくニューラルネットワークのパフォーマンスに大きなバリエーションを示す実験研究を行った。 位置、値、ポインタールールの相互作用は、分布シフトの導入と機能的複雑性の増加によって、一般化のニュアンステストの開発を可能にする。 これらは微妙な失敗と驚くべき成功の両方を明らかにし、このベンチマークで多くの有望な方向を示唆している。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Analyzing Representations inside Convolutional Neural Networks [8.803054559188048]
  本稿では,ネットワークが学習する概念を,一連の入力例をクラスタリングする方法に基づいて分類するフレームワークを提案する。 このフレームワークは教師なしで、入力機能のためのラベルなしで機能する。 提案手法を広範に評価し,人間の理解しやすさとコヒーレントな概念を創出することを示す。
  論文  参考訳（メタデータ） (2020-12-23T07:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。