論文の概要: Extrapolatable Relational Reasoning With Comparators in Low-Dimensional
Manifolds
- arxiv url: http://arxiv.org/abs/2006.08698v2
- Date: Sat, 3 Oct 2020 16:00:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 03:24:32.178659
- Title: Extrapolatable Relational Reasoning With Comparators in Low-Dimensional
Manifolds
- Title(参考訳): 低次元マニフォールドにおける比較器による外挿可能な関係推論
- Authors: Duo Wang, Mateja Jamnik, Pietro Lio
- Abstract要約: 本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。
この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
- 参考スコア(独自算出の注目度): 7.769102711230249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While modern deep neural architectures generalise well when test data is
sampled from the same distribution as training data, they fail badly for cases
when the test data distribution differs from the training distribution even
along a few dimensions. This lack of out-of-distribution generalisation is
increasingly manifested when the tasks become more abstract and complex, such
as in relational reasoning. In this paper we propose a neuroscience-inspired
inductive-biased module that can be readily amalgamated with current neural
network architectures to improve out-of-distribution (o.o.d) generalisation
performance on relational reasoning tasks. This module learns to project
high-dimensional object representations to low-dimensional manifolds for more
efficient and generalisable relational comparisons. We show that neural nets
with this inductive bias achieve considerably better o.o.d generalisation
performance for a range of relational reasoning tasks. We finally analyse the
proposed inductive bias module to understand the importance of lower dimension
projection, and propose an augmentation to the algorithmic alignment theory to
better measure algorithmic alignment with generalisation.
- Abstract(参考訳): 現代のディープ・ニューラル・アーキテクチャは、テストデータがトレーニングデータと同じ分布からサンプリングされるとうまく一般化するが、テストデータ分布がトレーニング分布と異なる場合、数次元でも失敗する。
このアウトオブディストリビューションの一般化の欠如は、リレーショナル推論のようなタスクがより抽象的で複雑になるにつれて、ますます現れています。
本稿では,現在のニューラルネットワークアーキテクチャと容易に融合して,関係推論タスクにおけるアウトオブディストリビューション(o.o.d)一般化性能を向上させる神経科学に触発されたインダクティブバイアスモジュールを提案する。
このモジュールは、より効率的で一般化可能な関係比較のために、低次元多様体に高次元オブジェクト表現を投影することを学ぶ。
この帰納的バイアスを持つニューラルネットは、様々な関係推論タスクのo.o.d一般化性能を大幅に向上させる。
最終的に、提案した帰納的バイアスモジュールを解析して、低次元射影の重要性を理解し、アルゴリズムアライメント理論への拡張を提案し、アルゴリズムアライメントと一般化をよりよく測定する。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。
空間性と一般化の基本的なトレードオフを示す。
論文 参考訳(メタデータ) (2023-07-01T20:59:05Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - Intrinsic Dimension, Persistent Homology and Generalization in Neural
Networks [19.99615698375829]
一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。
我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。
実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
論文 参考訳(メタデータ) (2021-11-25T17:06:15Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳(メタデータ) (2021-06-15T18:34:41Z) - Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。
与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。
本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
論文 参考訳(メタデータ) (2021-06-04T04:54:25Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳(メタデータ) (2021-01-22T08:43:28Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。