論文の概要: Towards Modular Algorithm Induction

• arxiv url: http://arxiv.org/abs/2003.04227v1
• Date: Thu, 27 Feb 2020 22:05:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:28:23.136229
• Title: Towards Modular Algorithm Induction
• Title（参考訳）: モジュラーアルゴリズムの誘導に向けて
• Authors: Daniel A. Abolafia, Rishabh Singh, Manzil Zaheer, Charles Sutton
• Abstract要約: Mainは可変長入力テープと相互作用するニューラルコントローラで構成されている。 モジュールを対応する引数の選択とともに構成することを学ぶ。 Mainは、一連のインプット・アウトプット・サンプルから強化学習を使用して、エンドツーエンドでトレーニングされている。
• 参考スコア（独自算出の注目度）: 63.15443906294536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a modular neural network architecture Main that learns algorithms given a set of input-output examples. Main consists of a neural controller that interacts with a variable-length input tape and learns to compose modules together with their corresponding argument choices. Unlike previous approaches, Main uses a general domain-agnostic mechanism for selection of modules and their arguments. It uses a general input tape layout together with a parallel history tape to indicate most recently used locations. Finally, it uses a memoryless controller with a length-invariant self-attention based input tape encoding to allow for random access to tape locations. The Main architecture is trained end-to-end using reinforcement learning from a set of input-output examples. We evaluate Main on five algorithmic tasks and show that it can learn policies that generalizes perfectly to inputs of much longer lengths than the ones used for training.
• Abstract（参考訳）: 入力出力の一連の例からアルゴリズムを学習するモジュール型ニューラルネットワークアーキテクチャであるMainを提案する。 mainは可変長の入力テープと対話し、対応する引数選択とともにモジュールを構成することを学ぶニューラルコントローラで構成されている。 以前のアプローチとは異なり、Mainはモジュールとその引数の選択に一般的なドメインに依存しないメカニズムを使用する。 一般的な入力テープレイアウトと並列履歴テープを使用して、最も最近使われた場所を示す。 最後に、長さ不変のセルフアテンションベースの入力テープエンコーディングを備えたメモリレスコントローラを使用して、テープ位置へのランダムなアクセスを可能にする。 主なアーキテクチャは、一連の入出力例からの強化学習を使用してエンドツーエンドでトレーニングされる。 Mainを5つのアルゴリズムタスクに基づいて評価し、トレーニングに使用するものよりもはるかに長い入力に完全に一般化するポリシーを学習可能であることを示す。

関連論文リスト

• Adaptive Computation with Elastic Input Sequence [42.57757185043949]
  本稿では、適応テープトークンによるニューラルネットワークの動的計算を可能にするAdaTapeを紹介する。 AdaTapeは動的リード・アンド・ライトテープでアーキテクチャを装備することで、弾性的な入力シーケンスを利用する。 AdaTapeは計算コストを抑えながら性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-01-30T18:57:24Z)
• Global memory transformer for processing long documents [0.0]
  従来の研究で提案したモデルの入力に一般的なメモリスロットルールが加えられた。 本研究の目的は,提案モデルがチャンクを,ベースモデルと比較したチャンクであるかのように扱う能力を検証することである。
  論文  参考訳（メタデータ） (2022-12-03T16:40:16Z)
• Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
  そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
  論文  参考訳（メタデータ） (2022-11-30T16:26:38Z)
• KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
  検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-10-08T18:39:59Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• When Deep Learning Meets Data Alignment: A Review on Deep Registration Networks (DRNs) [4.616914111718527]
  機械学習の最近の進歩は、コンピュータビジョンの分野における転換点となるかもしれない。 機械学習の最近の進歩は、コンピュータビジョンの分野における転換点となるかもしれない。
  論文  参考訳（メタデータ） (2020-03-06T12:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。