論文の概要: Neural Algorithmic Reasoning Without Intermediate Supervision

• arxiv url: http://arxiv.org/abs/2306.13411v1
• Date: Fri, 23 Jun 2023 09:57:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 13:05:54.261614
• Title: Neural Algorithmic Reasoning Without Intermediate Supervision
• Title（参考訳）: 中間スーパービジョンのないニューラルアルゴリズム推論
• Authors: Gleb Rodionov, Liudmila Prokhorenkova
• Abstract要約: 我々は、中間的監督に訴えることなく、入出力ペアからニューラルネットワーク推論を学ぶことに集中する。 CLRS Algorithmic Reasoning Benchmark のタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
• 参考スコア（独自算出の注目度）: 17.919759296265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Algorithmic Reasoning is an emerging area of machine learning focusing on building models which can imitate the execution of classic algorithms, such as sorting, shortest paths, etc. One of the main challenges is to learn algorithms that are able to generalize to out-of-distribution data, in particular with significantly larger input sizes. Recent work on this problem has demonstrated the advantages of learning algorithms step-by-step, giving models access to all intermediate steps of the original algorithm. In this work, we instead focus on learning neural algorithmic reasoning only from the input-output pairs without appealing to the intermediate supervision. We propose simple but effective architectural improvements and also build a self-supervised objective that can regularise intermediate computations of the model without access to the algorithm trajectory. We demonstrate that our approach is competitive to its trajectory-supervised counterpart on tasks from the CLRS Algorithmic Reasoning Benchmark and achieves new state-of-the-art results for several problems, including sorting, where we obtain significant improvements. Thus, learning without intermediate supervision is a promising direction for further research on neural reasoners.
• Abstract（参考訳）: ニューラルネットワークの推論は、ソートや最短経路など、古典的なアルゴリズムの実行を模倣するモデルの構築に焦点を当てた、機械学習の新しい分野である。 主な課題の1つは、アウト・オブ・ディストリビューションデータ、特にはるかに大きな入力サイズで一般化できるアルゴリズムを学習することである。 この問題に関する最近の研究は、学習アルゴリズムの利点を段階的に証明し、モデルが元のアルゴリズムのすべての中間ステップにアクセスできるようにする。 本研究では,中間監督に訴えることなく,入力出力ペアからのみニューラルネットワークの推論を学ぶことに焦点を当てる。 我々は,単純かつ効果的なアーキテクチャ改善を提案し,アルゴリズムの軌道にアクセスせずにモデルの中間計算を正す自己教師付き目標を構築する。 提案手法は,clrsアルゴリズム推論ベンチマークによるタスクの軌道教師付き対応と競合することを実証し,ソートなどいくつかの問題に対して新たな最先端結果を達成し,大幅な改善が得られた。 したがって、中間的監督のない学習は、神経推論のさらなる研究にとって有望な方向である。

関連論文リスト

• From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models [63.188607839223046]
  この調査は、推論中に計算をスケールするメリットに焦点を当てている。 我々はトークンレベルの生成アルゴリズム、メタジェネレーションアルゴリズム、効率的な生成という3つの領域を統一的な数学的定式化の下で探索する。
  論文  参考訳（メタデータ） (2024-06-24T17:45:59Z)
• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• Neural Algorithmic Reasoning for Combinatorial Optimisation [20.36694807847833]
  ニューラル推論の最近の進歩を活用して,CO問題の学習を改善することを提案する。 私たちは、COインスタンスでトレーニングする前に、関連するアルゴリズムでニューラルネットワークを事前トレーニングすることを提案します。 以上の結果から,この学習装置を用いることで,非アルゴリズム的情報深層学習モデルよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-18T13:59:02Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
  我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。 この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。 我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
  論文  参考訳（メタデータ） (2023-02-20T19:41:15Z)
• Dual Algorithmic Reasoning [9.701208207491879]
  本稿では,基礎となるアルゴリズム問題の双対性を利用してアルゴリズムを学習することを提案する。 アルゴリズム学習における最適化問題の2つの定義を同時に学習することで、より良い学習が可能になることを実証する。 次に、難易度の高い脳血管分類タスクにデプロイすることで、二元アルゴリズム推論の現実的な実用性を検証する。
  論文  参考訳（メタデータ） (2023-02-09T08:46:23Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• A Generalist Neural Algorithmic Learner [18.425083543441776]
  我々は、幅広いアルゴリズムを実行することを学習できる単一のグラフニューラルネットワークプロセッサを構築している。 マルチタスク方式でアルゴリズムを効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:41:33Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。