論文の概要: Generalizing Outside the Training Set: When Can Neural Networks Learn
Identity Effects?
- arxiv url: http://arxiv.org/abs/2005.04330v1
- Date: Sat, 9 May 2020 01:08:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 07:11:03.753018
- Title: Generalizing Outside the Training Set: When Can Neural Networks Learn
Identity Effects?
- Title(参考訳): トレーニングセット外での一般化: ニューラルネットワークはいつアイデンティティ効果を学習できるのか?
- Authors: Simone Brugiapaglia, Matthew Liu, Paul Tupper
- Abstract要約: 標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含むアルゴリズムのクラスが、新しい入力に一般化可能であることを示す。
我々は,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験で,我々の理論を実証する。
- 参考スコア(独自算出の注目度): 1.2891210250935143
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Often in language and other areas of cognition, whether two components of an
object are identical or not determine whether it is well formed. We call such
constraints identity effects. When developing a system to learn well-formedness
from examples, it is easy enough to build in an identify effect. But can
identity effects be learned from the data without explicit guidance? We provide
a simple framework in which we can rigorously prove that algorithms satisfying
simple criteria cannot make the correct inference. We then show that a broad
class of algorithms including deep neural networks with standard architecture
and training with backpropagation satisfy our criteria, dependent on the
encoding of inputs. Finally, we demonstrate our theory with computational
experiments in which we explore the effect of different input encodings on the
ability of algorithms to generalize to novel inputs.
- Abstract(参考訳): 言語や他の認知領域では、オブジェクトの2つの要素が同一であるか否か、あるいはそれが適切に形成されているかどうかを判断する。
このような制約をアイデンティティ効果と呼ぶ。
実例から順調に学習するシステムを開発する場合、特定効果で構築することは十分容易である。
しかし、ID効果は明確なガイダンスなしでデータから学べるだろうか?
単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できる簡単なフレームワークを提供する。
次に、標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含む幅広いアルゴリズムが、入力のエンコーディングに依存する基準を満たしていることを示す。
最後に,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験により,我々の理論を実証する。
関連論文リスト
- Training Neural Networks with Internal State, Unconstrained
Connectivity, and Discrete Activations [66.53734987585244]
真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。
このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。
このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
論文 参考訳(メタデータ) (2023-12-22T01:19:08Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳(メタデータ) (2023-06-30T17:59:13Z) - The brain as a probabilistic transducer: an evolutionarily plausible
network architecture for knowledge representation, computation, and behavior [14.505867475659274]
我々は進化的にも計算的にも可能な、脳と行動に関する一般的な理論的枠組みを提供する。
私たちの抽象モデルの脳は、ノードとエッジのネットワークです。ネットワーク内のノードとエッジには、重みとアクティベーションレベルがあります。
ネットワークの生来の(遺伝的)コンポーネントを指定することで、進化がネットワークに最初の適応ルールと学習を通じて豊かになる目標を与える方法を示す。
論文 参考訳(メタデータ) (2021-12-26T14:37:47Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳(メタデータ) (2021-05-19T07:24:42Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges [50.22269760171131]
過去10年間、データサイエンスと機械学習の実験的な革命が、ディープラーニングの手法によって生まれた。
このテキストは、統一幾何学的原理によって事前に定義された規則性を公開することに関するものである。
CNN、RNN、GNN、Transformersなど、最も成功したニューラルネットワークアーキテクチャを研究するための一般的な数学的フレームワークを提供する。
論文 参考訳(メタデータ) (2021-04-27T21:09:51Z) - Invariance, encodings, and generalization: learning identity effects
with neural networks [0.0]
単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できるフレームワークを提供する。
次に,勾配に基づくアルゴリズムで学習した深層フィードフォワードニューラルネットワークを含む幅広い学習アルゴリズムが,我々の基準を満たしていることを示す。
より広い状況では、ネットワークが必ずしも誤って分類する逆の例を提供することができます。
論文 参考訳(メタデータ) (2021-01-21T01:28:15Z) - Embedding and Extraction of Knowledge in Tree Ensemble Classifiers [11.762762974386684]
本稿では,木組分類器における知識の埋め込みと抽出について検討する。
そこで我々は,ブラックボックス設定のためのアルゴリズムと,ホワイトボックス設定のためのアルゴリズムの2つの新しい,効果的な組込みアルゴリズムを提案する。
本研究では,SMT (Satisfiability modulo theory)ソルバで解ける問題を削減することにより,組込み知識を抽出するアルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-10-16T10:09:01Z) - Exploiting Contextual Information with Deep Neural Networks [5.787117733071416]
文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。
この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
論文 参考訳(メタデータ) (2020-06-21T03:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。