論文の概要: Deep Equilibrium Algorithmic Reasoning

• arxiv url: http://arxiv.org/abs/2410.15059v1
• Date: Sat, 19 Oct 2024 10:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:38.294428
• Title: Deep Equilibrium Algorithmic Reasoning
• Title（参考訳）: 深部平衡アルゴリズム推論
• Authors: Dobrik Georgiev, JJ Wilson, Davide Buffelli, Pietro Liò,
• Abstract要約: 我々は異なる観点からニューラルネットワークの解法を研究する。 アルゴリズムの解はしばしば平衡であるため、平衡方程式を解くことによって直接解を見つけることができる。 我々のアプローチでは、列車とテスト時間の両方において、アルゴリズムの実際のステップ数に関する情報を必要としない。
• 参考スコア（独自算出の注目度）: 18.651333116786084
• License:
• Abstract: Neural Algorithmic Reasoning (NAR) research has demonstrated that graph neural networks (GNNs) could learn to execute classical algorithms. However, most previous approaches have always used a recurrent architecture, where each iteration of the GNN matches an iteration of the algorithm. In this paper we study neurally solving algorithms from a different perspective: since the algorithm's solution is often an equilibrium, it is possible to find the solution directly by solving an equilibrium equation. Our approach requires no information on the ground-truth number of steps of the algorithm, both during train and test time. Furthermore, the proposed method improves the performance of GNNs on executing algorithms and is a step towards speeding up existing NAR models. Our empirical evidence, leveraging algorithms from the CLRS-30 benchmark, validates that one can train a network to solve algorithmic problems by directly finding the equilibrium. We discuss the practical implementation of such models and propose regularisations to improve the performance of these equilibrium reasoners.
• Abstract（参考訳）: ニューラルネットワーク推論(NAR)の研究は、グラフニューラルネットワーク(GNN)が古典的なアルゴリズムの実行を学習できることを実証した。 しかし、これまでのほとんどのアプローチは繰り返しアーキテクチャを使用しており、GNNの各イテレーションはアルゴリズムのイテレーションと一致する。 本稿では, アルゴリズムの解はしばしば平衡であるので, 平衡方程式を解くことによって直接解を見つけることができる。 我々のアプローチでは、列車とテスト時間の両方において、アルゴリズムの実際のステップ数に関する情報を必要としない。 さらに,提案手法はアルゴリズムの実行におけるGNNの性能を改善し,既存のNARモデルの高速化に向けたステップである。 CLRS-30ベンチマークのアルゴリズムを利用して、我々の経験的証拠は、ネットワークをトレーニングして、平衡を直接見つけることでアルゴリズムの問題を解決することができることを検証している。 このようなモデルの実践的実装について議論し、これらの平衡推論器の性能向上のための正規化を提案する。

関連論文リスト

• Neural Algorithmic Reasoning with Multiple Correct Solutions [16.045068056647676]
  一部のアプリケーションでは、複数の正しい解を回収することが望ましい。 BF(Bellman-Ford)とDFS(Depth-First Search)の2つの古典的アルゴリズムで本手法を実証する。 この方法は、モデル出力からソリューションをサンプリングし、検証するだけでなく、適切なトレーニングデータを生成することを含む。
  論文  参考訳（メタデータ） (2024-09-11T02:29:53Z)
• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• The Deep Equilibrium Algorithmic Reasoner [20.375241527453447]
  グラフニューラルネットワーク(GNN)が古典的アルゴリズムの実行を学習できることを示す。 我々は、ネットワークをトレーニングしてアルゴリズムの問題を解き、直接平衡を求めることができることを予想し、実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-09T14:46:50Z)
• Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
  アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。 これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
  論文  参考訳（メタデータ） (2023-07-17T22:09:12Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。