論文の概要: Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects?

• arxiv url: http://arxiv.org/abs/2005.04330v1
• Date: Sat, 9 May 2020 01:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 07:11:03.753018
• Title: Generalizing Outside the Training Set: When Can Neural Networks Learn Identity Effects?
• Title（参考訳）: トレーニングセット外での一般化: ニューラルネットワークはいつアイデンティティ効果を学習できるのか?
• Authors: Simone Brugiapaglia, Matthew Liu, Paul Tupper
• Abstract要約: 標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含むアルゴリズムのクラスが、新しい入力に一般化可能であることを示す。 我々は,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験で,我々の理論を実証する。
• 参考スコア（独自算出の注目度）: 1.2891210250935143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Often in language and other areas of cognition, whether two components of an object are identical or not determine whether it is well formed. We call such constraints identity effects. When developing a system to learn well-formedness from examples, it is easy enough to build in an identify effect. But can identity effects be learned from the data without explicit guidance? We provide a simple framework in which we can rigorously prove that algorithms satisfying simple criteria cannot make the correct inference. We then show that a broad class of algorithms including deep neural networks with standard architecture and training with backpropagation satisfy our criteria, dependent on the encoding of inputs. Finally, we demonstrate our theory with computational experiments in which we explore the effect of different input encodings on the ability of algorithms to generalize to novel inputs.
• Abstract（参考訳）: 言語や他の認知領域では、オブジェクトの2つの要素が同一であるか否か、あるいはそれが適切に形成されているかどうかを判断する。 このような制約をアイデンティティ効果と呼ぶ。 実例から順調に学習するシステムを開発する場合、特定効果で構築することは十分容易である。 しかし、ID効果は明確なガイダンスなしでデータから学べるだろうか? 単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できる簡単なフレームワークを提供する。 次に、標準アーキテクチャによるディープニューラルネットワークやバックプロパゲーションによるトレーニングを含む幅広いアルゴリズムが、入力のエンコーディングに依存する基準を満たしていることを示す。 最後に,新しい入力に一般化するアルゴリズムの能力に対する異なる入力エンコーディングの効果を探索する計算実験により,我々の理論を実証する。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Architecture of a Cortex Inspired Hierarchical Event Recaller [0.0]
  本稿では、複雑なパターンの教師なし連続文脈依存学習に焦点を当てた機械学習(ML)に対する新しいアプローチを提案する。 複雑な時間系列を同定し、予測できる合成構造を定義し、実験的に検証する。 概念実証として, 提案システムでは, 事前知識を伴わずに, 人間の発話のような極めて複雑な時系列を学習し, 識別し, 予測できることが示されている。
  論文  参考訳（メタデータ） (2024-05-03T09:36:16Z)
• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• The brain as a probabilistic transducer: an evolutionarily plausible network architecture for knowledge representation, computation, and behavior [14.505867475659274]
  我々は進化的にも計算的にも可能な、脳と行動に関する一般的な理論的枠組みを提供する。 私たちの抽象モデルの脳は、ノードとエッジのネットワークです。ネットワーク内のノードとエッジには、重みとアクティベーションレベルがあります。 ネットワークの生来の(遺伝的)コンポーネントを指定することで、進化がネットワークに最初の適応ルールと学習を通じて豊かになる目標を与える方法を示す。
  論文  参考訳（メタデータ） (2021-12-26T14:37:47Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Invariance, encodings, and generalization: learning identity effects with neural networks [0.0]
  単純な基準を満たすアルゴリズムが正しい推論を行うことができないことを厳密に証明できるフレームワークを提供する。 次に,勾配に基づくアルゴリズムで学習した深層フィードフォワードニューラルネットワークを含む幅広い学習アルゴリズムが,我々の基準を満たしていることを示す。 より広い状況では、ネットワークが必ずしも誤って分類する逆の例を提供することができます。
  論文  参考訳（メタデータ） (2021-01-21T01:28:15Z)
• Embedding and Extraction of Knowledge in Tree Ensemble Classifiers [11.762762974386684]
  本稿では,木組分類器における知識の埋め込みと抽出について検討する。 そこで我々は,ブラックボックス設定のためのアルゴリズムと,ホワイトボックス設定のためのアルゴリズムの2つの新しい,効果的な組込みアルゴリズムを提案する。 本研究では,SMT (Satisfiability modulo theory)ソルバで解ける問題を削減することにより,組込み知識を抽出するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-16T10:09:01Z)
• Exploiting Contextual Information with Deep Neural Networks [5.787117733071416]
  文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。 この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
  論文  参考訳（メタデータ） (2020-06-21T03:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。