論文の概要: Learning Iterative Reasoning through Energy Minimization

• arxiv url: http://arxiv.org/abs/2206.15448v1
• Date: Thu, 30 Jun 2022 17:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 16:46:51.401633
• Title: Learning Iterative Reasoning through Energy Minimization
• Title（参考訳）: エネルギー最小化による反復推論の学習
• Authors: Yilun Du, Shuang Li, Joshua B. Tenenbaum, Igor Mordatch
• Abstract要約: ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
• 参考スコア（独自算出の注目度）: 77.33859525900334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has excelled on complex pattern recognition tasks such as image classification and object recognition. However, it struggles with tasks requiring nontrivial reasoning, such as algorithmic computation. Humans are able to solve such tasks through iterative reasoning -- spending more time thinking about harder tasks. Most existing neural networks, however, exhibit a fixed computational budget controlled by the neural network architecture, preventing additional computational processing on harder tasks. In this work, we present a new framework for iterative reasoning with neural networks. We train a neural network to parameterize an energy landscape over all outputs, and implement each step of the iterative reasoning as an energy minimization step to find a minimal energy solution. By formulating reasoning as an energy minimization problem, for harder problems that lead to more complex energy landscapes, we may then adjust our underlying computational budget by running a more complex optimization procedure. We empirically illustrate that our iterative reasoning approach can solve more accurate and generalizable algorithmic reasoning tasks in both graph and continuous domains. Finally, we illustrate that our approach can recursively solve algorithmic problems requiring nested reasoning
• Abstract（参考訳）: ディープラーニングは、画像分類やオブジェクト認識といった複雑なパターン認識タスクに優れています。 しかし、アルゴリズム計算のような非自明な推論を必要とするタスクに苦しむ。 人間は反復的な推論によってこのようなタスクを解決できます。 しかし、既存のほとんどのニューラルネットワークは、ニューラルネットワークアーキテクチャによって制御される固定された計算予算を示しており、難しいタスクに対するさらなる計算処理を妨げている。 本稿では,ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギー景観をパラメータ化するためにニューラルネットワークをトレーニングし、エネルギー最小化ステップとして反復推論の各ステップを実装し、最小限のエネルギー解を求める。 推論をエネルギー最小化問題として定式化することで、より複雑なエネルギーランドスケープにつながる難しい問題に対して、より複雑な最適化手順を実行することによって基礎となる計算予算を調整することができる。 我々の反復推論アプローチは、グラフと連続ドメインの両方においてより正確で一般化可能なアルゴリズム推論タスクを解くことができることを実証的に説明します。 最後に,本手法がネスト推論を必要とするアルゴリズム問題を再帰的に解くことができることを示す。

関連論文リスト

• Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
  我々は,エネルギー拡散による反復的推論(IRED)を紹介した。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-17T03:36:47Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
  機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。 本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。 また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
  論文  参考訳（メタデータ） (2022-02-11T18:43:28Z)
• Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks [47.54459795966417]
  単純な問題を解くために訓練されたリカレントネットワークは、推論中に追加の繰り返しを実行するだけで、はるかに複雑な問題を解くことができることを示す。 これら3つのドメインすべてにおいて、単純な問題インスタンスに基づいてトレーニングされたネットワークは、単に"もっと長く考える"ことで、テスト時に推論能力を拡張することができる。
  論文  参考訳（メタデータ） (2021-06-08T17:19:48Z)
• Thinking Deeply with Recurrence: Generalizing from Easy to Hard Sequential Reasoning Problems [51.132938969015825]
  我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。 再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
  論文  参考訳（メタデータ） (2021-02-22T14:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。