論文の概要: Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds

• arxiv url: http://arxiv.org/abs/2006.08698v2
• Date: Sat, 3 Oct 2020 16:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:24:32.178659
• Title: Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
• Title（参考訳）: 低次元マニフォールドにおける比較器による外挿可能な関係推論
• Authors: Duo Wang, Mateja Jamnik, Pietro Lio
• Abstract要約: 本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 7.769102711230249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While modern deep neural architectures generalise well when test data is sampled from the same distribution as training data, they fail badly for cases when the test data distribution differs from the training distribution even along a few dimensions. This lack of out-of-distribution generalisation is increasingly manifested when the tasks become more abstract and complex, such as in relational reasoning. In this paper we propose a neuroscience-inspired inductive-biased module that can be readily amalgamated with current neural network architectures to improve out-of-distribution (o.o.d) generalisation performance on relational reasoning tasks. This module learns to project high-dimensional object representations to low-dimensional manifolds for more efficient and generalisable relational comparisons. We show that neural nets with this inductive bias achieve considerably better o.o.d generalisation performance for a range of relational reasoning tasks. We finally analyse the proposed inductive bias module to understand the importance of lower dimension projection, and propose an augmentation to the algorithmic alignment theory to better measure algorithmic alignment with generalisation.
• Abstract（参考訳）: 現代のディープ・ニューラル・アーキテクチャは、テストデータがトレーニングデータと同じ分布からサンプリングされるとうまく一般化するが、テストデータ分布がトレーニング分布と異なる場合、数次元でも失敗する。 このアウトオブディストリビューションの一般化の欠如は、リレーショナル推論のようなタスクがより抽象的で複雑になるにつれて、ますます現れています。 本稿では,現在のニューラルネットワークアーキテクチャと容易に融合して,関係推論タスクにおけるアウトオブディストリビューション(o.o.d)一般化性能を向上させる神経科学に触発されたインダクティブバイアスモジュールを提案する。 このモジュールは、より効率的で一般化可能な関係比較のために、低次元多様体に高次元オブジェクト表現を投影することを学ぶ。 この帰納的バイアスを持つニューラルネットは、様々な関係推論タスクのo.o.d一般化性能を大幅に向上させる。 最終的に、提案した帰納的バイアスモジュールを解析して、低次元射影の重要性を理解し、アルゴリズムアライメント理論への拡張を提案し、アルゴリズムアライメントと一般化をよりよく測定する。

関連論文リスト

• An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
  スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。 ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-11-26T07:44:57Z)
• Towards Exact Computation of Inductive Bias [8.988109761916379]
  本稿では,タスクの一般化に必要な帰納バイアスを効率的に計算する手法を提案する。 より高次元的なタスクはより帰納的バイアスを必要とすることを示す。 提案した帰納バイアス指標は,特定のモデルアーキテクチャの利点を情報理論で解釈する。
  論文  参考訳（メタデータ） (2024-06-22T21:14:24Z)
• Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions [2.3020018305241337]
  ガウス混合体としてモデル化された入力に基づいて学習したディープラーニングシステムの振る舞いを分析し,より汎用的な入力をシミュレートする。 特定の標準化スキームの下では、入力データがより複雑あるいは実世界の分布に従う場合でも、ディープラーニングモデルはガウス的な設定行動に収束する。
  論文  参考訳（メタデータ） (2024-05-01T17:10:55Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。