論文の概要: Learning Iterative Reasoning through Energy Diffusion

• arxiv url: http://arxiv.org/abs/2406.11179v1
• Date: Mon, 17 Jun 2024 03:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:33:51.800717
• Title: Learning Iterative Reasoning through Energy Diffusion
• Title（参考訳）: エネルギー拡散による反復推論の学習
• Authors: Yilun Du, Jiayuan Mao, Joshua B. Tenenbaum,
• Abstract要約: 我々は,エネルギー拡散による反復的推論(IRED)を紹介した。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 90.24765095498392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce iterative reasoning through energy diffusion (IRED), a novel framework for learning to reason for a variety of tasks by formulating reasoning and decision-making problems with energy-based optimization. IRED learns energy functions to represent the constraints between input conditions and desired outputs. After training, IRED adapts the number of optimization steps during inference based on problem difficulty, enabling it to solve problems outside its training distribution -- such as more complex Sudoku puzzles, matrix completion with large value magnitudes, and pathfinding in larger graphs. Key to our method's success is two novel techniques: learning a sequence of annealed energy landscapes for easier inference and a combination of score function and energy landscape supervision for faster and more stable training. Our experiments show that IRED outperforms existing methods in continuous-space reasoning, discrete-space reasoning, and planning tasks, particularly in more challenging scenarios. Code and visualizations at https://energy-based-model.github.io/ired/
• Abstract（参考訳）: 我々はエネルギー拡散による反復的推論(IRED)を導入し、エネルギーベース最適化による推論と意思決定問題を定式化し、様々なタスクの推論を学習する新しいフレームワークについて紹介する。 IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。 トレーニング後、IREDは、問題の難易度に基づいて推論中に最適化ステップの数を調整し、より複雑なスドゥークパズル、大きな値の行列補完、より大きなグラフでのパスフィンディングといった、トレーニングディストリビューション外の問題を解決することができる。 提案手法の成功の鍵は2つの新しい手法である: 簡易な推論のために熱処理されたエネルギー景観のシーケンスを学習することと、より速くより安定したトレーニングのためにスコア関数とエネルギー景観の監督を組み合わせることである。 我々の実験によると、IREDは、特により困難なシナリオにおいて、連続空間推論、離散空間推論、計画タスクにおいて、既存のメソッドよりも優れています。 https://energy-based-model.github.io/ired/におけるコードと視覚化

関連論文リスト

• Can Graph Learning Improve Task Planning? [61.47027387839096]
  タスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,タスク計画のためのグラフ学習に基づく手法について検討する。 提案手法は、改良されたプロンプトや微調整モデルにより、さらなる性能向上を図り、プロンプトエンジニアリングと微調整技術を補完する。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)
• Energy-frugal and Interpretable AI Hardware Design using Learning Automata [5.514795777097036]
  Tsetlin Machineと呼ばれる新しい機械学習アルゴリズムが提案されている。 本稿では,エネルギーフルーガルな人工知能ハードウェア設計手法について検討する。 本研究は, 資源配分が, 頑健かつ解釈可能な学習を達成しつつ, 決定的なエネルギー削減をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-19T15:11:18Z)
• Scalable Coupling of Deep Learning with Logical Reasoning [0.0]
  NPハード推論問題の制約と基準を学習するために,スケーラブルなニューラルアーキテクチャと損失関数を導入する。 我々の損失関数は、Besagの擬似対数関係の主な制限の1つを解き、高エネルギーの学習を可能にする。
  論文  参考訳（メタデータ） (2023-05-12T17:09:34Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
  ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。 すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。 エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
  論文  参考訳（メタデータ） (2022-06-30T17:44:20Z)
• Learning Energy Networks with Generalized Fenchel-Young Losses [34.46284877812228]
  エネルギーに基づくモデル、すなわちエネルギーネットワークはエネルギー関数を最適化することで推論を行う。 学習エネルギーネットワークの自然損失構造であるFenchel-Young損失の一般化を提案する。
  論文  参考訳（メタデータ） (2022-05-19T14:32:04Z)
• Physical Gradients for Deep Learning [101.36788327318669]
  最先端のトレーニング技術は、物理的なプロセスに関わる多くの問題に適していないことが分かりました。 本稿では,高次最適化手法と機械学習手法を組み合わせた新しいハイブリッドトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-30T12:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。