論文の概要: Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language

• arxiv url: http://arxiv.org/abs/2110.14350v1
• Date: Wed, 27 Oct 2021 11:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:23:43.721347
• Title: Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language
• Title（参考訳）: Dyck言語学習のための個別インタフェースによる強化学習の強化
• Authors: Florian Dietz, Dietrich Klakow
• Abstract要約: 我々は,対話ネットワークを個別のインタフェースで拡張し,汎用Dyck言語で学習する。 離散データ構造を用いた学習に基づく最初のソリューションを提供する。 結果のモデルは非常に小さく高速で、トレーニングデータよりも桁違いに長いシーケンスに一般化される。
• 参考スコア（独自算出の注目度）: 15.579167506354223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Even though most interfaces in the real world are discrete, no efficient way exists to train neural networks to make use of them, yet. We enhance an Interaction Network (a Reinforcement Learning architecture) with discrete interfaces and train it on the generalized Dyck language. This task requires an understanding of hierarchical structures to solve, and has long proven difficult for neural networks. We provide the first solution based on learning to use discrete data structures. We encountered unexpected anomalous behavior during training, and utilized pre-training based on execution traces to overcome them. The resulting model is very small and fast, and generalizes to sequences that are an entire order of magnitude longer than the training data.
• Abstract（参考訳）: 現実世界のほとんどのインターフェイスは離散的だが、ニューラルネットワークを訓練して利用するための効率的な方法はまだ存在しない。 我々は,対話ネットワーク(強化学習アーキテクチャ)を個別のインタフェースで拡張し,汎用Dyck言語で学習する。 このタスクは階層構造を理解することが必要であり、ニューラルネットワークでは長い間困難であることが証明されてきた。 離散データ構造を用いた学習に基づく最初のソリューションを提供する。 トレーニング中に予期せぬ異常な行動に遭遇し,実行トレースに基づく事前学習を用いて克服した。 結果として得られたモデルは、非常に小さくて高速で、トレーニングデータよりも桁違いに長いシーケンスに一般化されます。

関連論文リスト

• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。