論文の概要: Invariance, encodings, and generalization: learning identity effects with neural networks

• arxiv url: http://arxiv.org/abs/2101.08386v2
• Date: Fri, 26 Feb 2021 19:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 08:05:51.542444
• Title: Invariance, encodings, and generalization: learning identity effects with neural networks
• Title（参考訳）: invariance, encodings, and generalization: learning identity effects with neural networks
• Authors: S. Brugiapaglia, M. Liu, P. Tupper
• Abstract要約: 単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できるフレームワークを提供する。 次に,勾配に基づくアルゴリズムで学習した深層フィードフォワードニューラルネットワークを含む幅広い学習アルゴリズムが,我々の基準を満たしていることを示す。 より広い状況では、ネットワークが必ずしも誤って分類する逆の例を提供することができます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Often in language and other areas of cognition, whether two components of an object are identical or not determines if it is well formed. We call such constraints identity effects. When developing a system to learn well-formedness from examples, it is easy enough to build in an identify effect. But can identity effects be learned from the data without explicit guidance? We provide a framework in which we can rigorously prove that algorithms satisfying simple criteria cannot make the correct inference. We then show that a broad class of learning algorithms including deep feedforward neural networks trained via gradient-based algorithms (such as stochastic gradient descent or the Adam method) satisfy our criteria, dependent on the encoding of inputs. In some broader circumstances we are able to provide adversarial examples that the network necessarily classifies incorrectly. Finally, we demonstrate our theory with computational experiments in which we explore the effect of different input encodings on the ability of algorithms to generalize to novel inputs.
• Abstract（参考訳）: 言語や他の認知領域では、オブジェクトの2つの要素が同一であるかどうかが、それがよく形成されているかどうかを判断する。 このような制約をアイデンティティ効果と呼ぶ。 実例から順調に学習するシステムを開発する場合、特定効果で構築することは十分容易である。 しかし、ID効果は明確なガイダンスなしでデータから学べるだろうか? 単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できるフレームワークを提供する。 次に,勾配に基づくアルゴリズム(確率的勾配降下法やadam法など)で学習された深層フィードフォワードニューラルネットワークを含む幅広い学習アルゴリズムが,入力の符号化に依存する条件を満たすことを示す。 より広い状況下では、ネットワークが必ずしも正しく分類しない敵例を提供することができる。 最後に,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験により,我々の理論を実証する。

関連論文リスト

• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• The brain as a probabilistic transducer: an evolutionarily plausible network architecture for knowledge representation, computation, and behavior [14.505867475659274]
  我々は進化的にも計算的にも可能な、脳と行動に関する一般的な理論的枠組みを提供する。 私たちの抽象モデルの脳は、ノードとエッジのネットワークです。ネットワーク内のノードとエッジには、重みとアクティベーションレベルがあります。 ネットワークの生来の(遺伝的)コンポーネントを指定することで、進化がネットワークに最初の適応ルールと学習を通じて豊かになる目標を与える方法を示す。
  論文  参考訳（メタデータ） (2021-12-26T14:37:47Z)
• A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
  本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。 具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。 各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。 例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
  論文  参考訳（メタデータ） (2021-09-03T08:43:29Z)
• Some thoughts on catastrophic forgetting and how to learn an algorithm [0.0]
  我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
  論文  参考訳（メタデータ） (2021-08-09T11:12:43Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)
• Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects? [1.2891210250935143]
  標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含むアルゴリズムのクラスが、新しい入力に一般化可能であることを示す。 我々は,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験で,我々の理論を実証する。
  論文  参考訳（メタデータ） (2020-05-09T01:08:07Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。