論文の概要: NeuralThink: Algorithm Synthesis that Extrapolates in General Tasks
- arxiv url: http://arxiv.org/abs/2402.15393v1
- Date: Fri, 23 Feb 2024 15:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:13:57.659794
- Title: NeuralThink: Algorithm Synthesis that Extrapolates in General Tasks
- Title（参考訳）: NeuralThink: 一般的なタスクで外挿するアルゴリズム合成
- Authors: Bernardo Esteves, Miguel Vasco, Francisco S. Melo
- Abstract要約: 最近のDeep Thinking法は、外挿する学習アルゴリズムにおいて有望であることを示している。
我々はニューラルシンク (NeuralThink) を提案する。ニューラルシンク (NeuralThink) は、対称的タスクと非対称的タスクの両方に連続的に外挿できる新しいリカレントアーキテクチャである。
NeuralThinkは、最先端のDeep Thinkingアーキテクチャよりも一貫して優れていることを示す。
- 参考スコア（独自算出の注目度）: 4.389150156866014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While machine learning methods excel at pattern recognition, they struggle
with complex reasoning tasks in a scalable, algorithmic manner. Recent Deep
Thinking methods show promise in learning algorithms that extrapolate: learning
in smaller environments and executing the learned algorithm in larger
environments. However, these works are limited to symmetrical tasks, where the
input and output dimensionalities are the same. To address this gap, we propose
NeuralThink, a new recurrent architecture that can consistently extrapolate to
both symmetrical and asymmetrical tasks, where the dimensionality of the input
and output are different. We contribute with a novel benchmark of asymmetrical
tasks for extrapolation. We show that NeuralThink consistently outperforms the
prior state-of-the-art Deep Thinking architectures, in regards to stable
extrapolation to large observations from smaller training sizes.
- Abstract（参考訳）: 機械学習手法はパターン認識に優れているが、スケーラブルでアルゴリズム的な方法で複雑な推論タスクに苦労する。
最近の深層思考の手法は、より小さな環境での学習と、より大きな環境での学習アルゴリズムの実行を推定する学習アルゴリズムにおいて、有望であることを示している。
しかしこれらの研究は、入力次元と出力次元が同じ対称的なタスクに限定されている。
このギャップに対処するために、我々は、入力と出力の次元が異なる対称タスクと非対称タスクの両方に一貫して外挿することができる新しいリカレントアーキテクチャであるneuralthinkを提案する。
我々は外挿のための非対称タスクの新しいベンチマークで貢献する。
我々は,neuralthinkが,より小さなトレーニングサイズからの大きな観察まで,安定した外挿に関して,最先端の深層思考アーキテクチャを一貫して上回っていることを示す。
関連論文リスト
- The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳（メタデータ） (2023-06-30T17:59:13Z) - Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。
我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。
CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
論文 参考訳（メタデータ） (2023-06-23T09:57:44Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Adaptive Discretization in Online Reinforcement Learning [9.560980936110234]
離散化に基づくアルゴリズムを設計する際の2つの大きな疑問は、離散化をどのように生成し、いつそれを洗練するかである。
オンライン強化学習のための木に基づく階層分割手法の統一的理論的解析を行う。
我々のアルゴリズムは操作制約に容易に適応し、我々の理論は3つの面のそれぞれに明示的な境界を与える。
論文 参考訳（メタデータ） (2021-10-29T15:06:15Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳（メタデータ） (2020-10-15T20:43:17Z) - Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。
ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
論文 参考訳（メタデータ） (2020-07-07T17:03:02Z) - Model-based Multi-Agent Reinforcement Learning with Cooperative
Prioritized Sweeping [4.5497948012757865]
本稿では,新しいモデルに基づく強化学習アルゴリズム,Cooperative Prioritized Sweepingを提案する。
このアルゴリズムは、値関数を近似するために因子化を利用することにより、大きな問題に対するサンプル効率の学習を可能にする。
我々の手法は、よく知られたSysAdminベンチマークとランダム化環境の両方において、最先端の協調的なQ-ラーニングアルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2020-01-15T19:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。