論文の概要: DNCs Require More Planning Steps

• arxiv url: http://arxiv.org/abs/2406.02187v1
• Date: Tue, 4 Jun 2024 10:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:51:53.708930
• Title: DNCs Require More Planning Steps
• Title（参考訳）: DNCはさらなる計画ステップを必要とする
• Authors: Yara Shamshoum, Nitzan Hodos, Yuval Sieradzki, Assaf Schuster,
• Abstract要約: 暗黙的アルゴリズム解法の一般化に対する計算時間とメモリの影響について検討する。 計画予算が学習アルゴリズムの挙動を劇的に変える方法を示す。
• 参考スコア（独自算出の注目度）: 7.837209773889032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent works use machine learning models to solve various complex algorithmic problems. However, these models attempt to reach a solution without considering the problem's required computational complexity, which can be detrimental to their ability to solve it correctly. In this work we investigate the effect of computational time and memory on generalization of implicit algorithmic solvers. To do so, we focus on the Differentiable Neural Computer (DNC), a general problem solver that also lets us reason directly about its usage of time and memory. In this work, we argue that the number of planning steps the model is allowed to take, which we call "planning budget", is a constraint that can cause the model to generalize poorly and hurt its ability to fully utilize its external memory. We evaluate our method on Graph Shortest Path, Convex Hull, Graph MinCut and Associative Recall, and show how the planning budget can drastically change the behavior of the learned algorithm, in terms of learned time complexity, training time, stability and generalization to inputs larger than those seen during training.
• Abstract（参考訳）: 近年の多くの研究は、様々な複雑なアルゴリズム問題を解くために機械学習モデルを使用している。 しかしながら、これらのモデルは問題に必要な計算複雑性を考慮せずに解に到達しようとするが、それはその解を正しく解く能力に有害である。 本研究では,暗黙的アルゴリズム解法の一般化に対する計算時間とメモリの影響について検討する。 そのために我々は、時間とメモリの使い方を直接説明できる一般的な問題解決ツールである微分可能ニューラルネットワーク(DNC)に注目した。 本研究では、モデルが行うべき計画ステップの数を「計画予算」と呼び、モデルが不適切な一般化をし、その外部メモリを完全に活用する能力を損なう可能性のある制約であると論じる。 提案手法は,グラフショート・パス,コンベックス・ハル,グラフミンコート,アソシエイト・リコールにおいて評価し,学習時間の複雑度,トレーニング時間,安定性,一般化などの観点から,学習アルゴリズムの動作を大きく変えることができることを示す。

関連論文リスト

• Learning to Optimize for Mixed-Integer Non-linear Programming [20.469394148261838]
  混合整数非NLPプログラム(MINLP)はエネルギーシステムや輸送など様々な領域で発生するが、解決は困難である。 機械学習の最近の進歩は、最適化のための学習として知られる領域において、顕著な成功をもたらしている。 勾配を保ちながら整数出力を生成する2つの異なる補正層を提案する。
  論文  参考訳（メタデータ） (2024-10-14T20:14:39Z)
• A General Framework for Learning from Weak Supervision [93.89870459388185]
  本稿では、新しいアルゴリズムを用いて、弱監督(GLWS)から学習するための一般的な枠組みを紹介する。 GLWSの中心は期待最大化(EM)の定式化であり、様々な弱い監督源を順応的に収容している。 また,EM計算要求を大幅に単純化する高度なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-02T21:48:50Z)
• Taking the human out of decomposition-based optimization via artificial intelligence: Part II. Learning to initialize [0.0]
  提案手法は解時間を大幅に短縮することができる。 アクティブかつ教師付き学習は、計算性能を予測する代理モデルを学ぶために使用される。 その結果,提案手法が解時間を大幅に短縮する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-10T23:49:26Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• CombOptNet: Fit the Right NP-Hard Problem by Learning Integer Programming Constraints [20.659237363210774]
  我々は、コスト項と制約の両方を学習できる層として、整数型プログラミングソルバをニューラルネットワークアーキテクチャに統合することを目指している。 結果として得られたエンドツーエンドのトレーニング可能なアーキテクチャは、生データから特徴を共同で抽出し、最先端の整数プログラミング解法で適切な(学習した)問題を解く。
  論文  参考訳（メタデータ） (2021-05-05T21:52:53Z)
• Learning to Sparsify Travelling Salesman Problem Instances [0.5985204759362747]
  プルーニングマシンラーニングを前処理のステップとして使用し、旅行セールスマンの問題をスパーシャライズするために正確なプログラミングアプローチを行います。 私たちの学習アプローチは、非常に少ないトレーニングデータを必要とし、数学的分析に適応可能です。
  論文  参考訳（メタデータ） (2021-04-19T14:35:14Z)
• SOLO: Search Online, Learn Offline for Combinatorial Optimization Problems [4.777801093677586]
  我々は,機械スケジューリングやルーティング,割当てといった実世界のアプリケーションで問題を研究する。 RL(Reinforcement Learning)とプランニングを組み合わせた手法を提案する。 この方法は、オフラインでも、オンラインでも、問題のコンポーネントが事前に分かっておらず、むしろ意思決定プロセス中に現れるような、問題の変種にも等しく適用することができる。
  論文  参考訳（メタデータ） (2021-04-04T17:12:24Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。