論文の概要: Generalizable Reasoning through Compositional Energy Minimization
- arxiv url: http://arxiv.org/abs/2510.20607v1
- Date: Thu, 23 Oct 2025 14:38:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:18.133591
- Title: Generalizable Reasoning through Compositional Energy Minimization
- Title(参考訳): 構成エネルギー最小化による一般化可能な推論
- Authors: Alexandru Oarga, Yilun Du,
- Abstract要約: 一般化は機械学習、特に推論タスクにおいて重要な課題である。
より小さく、よりトラクタブルなサブプロブレムの解空間上のエネルギーランドスケープを学習することで一般化を推論する新しい手法を提案する。
提案手法は既存の最先端手法よりも優れており,より大規模で複雑な問題に一般化できることを示す。
- 参考スコア(独自算出の注目度): 91.76056742068813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalization is a key challenge in machine learning, specifically in reasoning tasks, where models are expected to solve problems more complex than those encountered during training. Existing approaches typically train reasoning models in an end-to-end fashion, directly mapping input instances to solutions. While this allows models to learn useful heuristics from data, it often results in limited generalization beyond the training distribution. In this work, we propose a novel approach to reasoning generalization by learning energy landscapes over the solution spaces of smaller, more tractable subproblems. At test time, we construct a global energy landscape for a given problem by combining the energy functions of multiple subproblems. This compositional approach enables the incorporation of additional constraints during inference, allowing the construction of energy landscapes for problems of increasing difficulty. To improve the sample quality from this newly constructed energy landscape, we introduce Parallel Energy Minimization (PEM). We evaluate our approach on a wide set of reasoning problems. Our method outperforms existing state-of-the-art methods, demonstrating its ability to generalize to larger and more complex problems. Project website can be found at: https://alexoarga.github.io/compositional_reasoning/
- Abstract(参考訳): 一般化は機械学習における重要な課題であり、特に推論タスクでは、モデルがトレーニング中に遭遇した問題よりも複雑な問題を解決することが期待されている。
既存のアプローチは通常、エンドツーエンドで推論モデルをトレーニングし、入力インスタンスを直接ソリューションにマッピングする。
これにより、モデルはデータから有用なヒューリスティックスを学ぶことができるが、トレーニング分布を超えた限定的な一般化をもたらすことが多い。
本研究では,より小さく,よりトラクタブルなサブプロブレムの解空間上のエネルギー景観を学習することで一般化を推理する新しい手法を提案する。
テスト時には、複数のサブプロブレムのエネルギー関数を組み合わせることにより、与えられた問題に対する大域的なエネルギーランドスケープを構築する。
この構成的アプローチは、推論中に追加の制約を組み込むことを可能にし、困難を増す問題に対するエネルギー景観の構築を可能にする。
新たに構築されたエネルギー景観からサンプル品質を向上させるため,並列エネルギー最小化(PEM)を導入する。
我々は、幅広い推論問題に対する我々のアプローチを評価する。
提案手法は既存の最先端手法よりも優れており,より大規模で複雑な問題に一般化できることを示す。
プロジェクトのWebサイトは、https://alexoarga.github.io/compositional_reasoning/で見ることができる。
関連論文リスト
- A Knapsack by Any Other Name: Presentation impacts LLM performance on NP-hard problems [64.05451567422342]
自然言語で表現されたNPハード問題の集合であるEveryday Hard Optimization Problems (EHOP) のデータセットを紹介する。
EHOPには、コンピュータサイエンスの教科書(例えば、グラフカラー化)で見られる問題の定式化が含まれている。
複数のプロンプト戦略にまたがる最先端のLCMは、実生活や逆転よりも正確な教科書問題を解くことができる。
論文 参考訳(メタデータ) (2025-02-19T14:39:59Z) - Learning Iterative Reasoning through Energy Diffusion [90.24765095498392]
我々は,エネルギー拡散による反復的推論(IRED)を紹介した。
IREDは入力条件と所望の出力の間の制約を表現するためにエネルギー関数を学ぶ。
IREDは、連続空間推論、離散空間推論、計画タスクにおいて既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-06-17T03:36:47Z) - Efficient Imitation Learning with Conservative World Models [54.52140201148341]
報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。
純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
論文 参考訳(メタデータ) (2024-05-21T20:53:18Z) - Divide-or-Conquer? Which Part Should You Distill Your LLM? [38.62667131299918]
我々は、推論タスクを問題解決フェーズと問題解決フェーズに分解する同様の戦略を考案する。
戦略が単一ステージソリューションより優れていることを示す。
論文 参考訳(メタデータ) (2024-02-22T22:28:46Z) - Learning Iterative Reasoning through Energy Minimization [77.33859525900334]
ニューラルネットワークを用いた反復推論のための新しいフレームワークを提案する。
すべての出力に対してエネルギーランドスケープをパラメータ化するために、ニューラルネットワークをトレーニングします。
エネルギー最小化ステップとして反復推論の各ステップを実装し,最小限のエネルギー解を求める。
論文 参考訳(メタデータ) (2022-06-30T17:44:20Z) - Learning Solution Manifolds for Control Problems via Energy Minimization [32.59818752168615]
様々な制御タスクは一般にエネルギー最小化問題として定式化されている。
このような問題に対する数値解は十分に確立されているが、しばしばリアルタイムアプリケーションで直接使用されるには遅すぎる。
本稿では,効率的かつ数値的に堅牢な行動クローニング(BC)の代替手法を提案する。
論文 参考訳(メタデータ) (2022-03-07T14:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。