論文の概要: AHD Agent: Agentic Reinforcement Learning for Automatic Heuristic Design
- arxiv url: http://arxiv.org/abs/2605.08756v1
- Date: Sat, 09 May 2026 07:36:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.864933
- Title: AHD Agent: Agentic Reinforcement Learning for Automatic Heuristic Design
- Title（参考訳）: AHDエージェント:自動ヒューリスティック設計のためのエージェント強化学習
- Abstract要約: AHD(Automatic Design)は、NP-hard最適化問題を解決するための有望なパラダイムとして登場した。
既存のAHDフレームワークは通常、固定されたコンテキスト内で大きな言語モデル(LLM)を受動的ジェネレータとして扱う。
本稿では,新たなツール統合多ターンフレームワークであるAHD Agentを提案する。
- 参考スコア（独自算出の注目度）: 5.7547035595428255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic heuristic design (AHD) has emerged as a promising paradigm for solving NP-hard combinatorial optimization problems (COPs). Recent works show that large language models (LLMs), when integrated into well-designed frameworks (i.e., LLM-AHD), can autonomously discover high-performing heuristics. However, existing LLM-AHD frameworks typically treat LLMs as passive generators within fixed workflows, where the model generates heuristics from manually designed, limited context. Such context may fail to capture state-dependent information (e.g., specific failure modes), leading to inefficient trial-and-error exploration. To overcome these limitations, we propose AHD Agent, a novel tool-integrated, multi-turn framework that empowers LLMs to proactively decide whether to generate heuristics or invoke tools to retrieve targeted evidence from the solving environment. To effectively train such a dynamic decision-making agent, we introduce an agentic reinforcement learning (RL) system, which leverages a novel environment synthesis pipeline to optimize a compact model's generalizable AHD capabilities. Experiments across eight diverse domains, including four held-out tasks, demonstrate that our 4B-parameter agent matches or surpasses state-of-the-art baselines using much larger models, while requiring significantly fewer evaluations. Model and inference scaling analysis further reveals that AHD Agent offers an effective trajectory toward truly autonomous heuristic design.
- Abstract（参考訳）: AHD (Automatic Heuristic Design) はNP-hard combinatorial optimization problem (COP) を解くための有望なパラダイムとして登場した。
近年の研究では、LLM-AHDのようなよく設計されたフレームワークに統合された大規模言語モデル(LLM)が、ハイパフォーマンスなヒューリスティックを自律的に発見できることが示されている。
しかし、既存のLLM-AHDフレームワークは通常、LLMを固定ワークフロー内の受動的ジェネレータとして扱い、モデルが手動で設計された限られたコンテキストからヒューリスティックを生成する。
このようなコンテキストは、状態依存の情報(例えば、特定の障害モード)をキャプチャできない可能性があるため、非効率なトライアルとエラーの探索につながる。
これらの制約を克服するために,LLMが積極的にヒューリスティックを生成するか,あるいは目標とする証拠を解決環境から回収するツールを起動するかを決定するための,新たなツール統合マルチターンフレームワークであるAHD Agentを提案する。
このような動的意思決定エージェントを効果的に訓練するために,新しい環境合成パイプラインを活用するエージェント強化学習(RL)システムを導入し,コンパクトモデルの一般化可能なAHD能力を最適化する。
4つのホールドアウトタスクを含む8つの領域にわたる実験では、我々の4Bパラメーターエージェントが、はるかに大きなモデルを使用して最先端のベースラインにマッチするか、あるいは超えることを示した。
モデルと推論のスケーリング分析により、AHD Agentが真に自律的なヒューリスティックデザインに対して効果的な軌道を提供することが明らかになった。
関連論文リスト
- PathWise: Planning through World Model for Automated Heuristic Design via Self-Evolving LLMs [16.59846708454225]
自己進化型LCM(PathWise)による世界自動ヒューリスティックデザインのための計画的計画」と呼ばれる新しいマルチエージェント推論フレームワークを提案する。
PathWiseは、検索軌跡のコンパクトでステートフルなメモリとして機能するエンテーメントグラフ上のシーケンシャルな決定過程を定式化する。
様々なCOP実験により、PathWiseはより高速に収束し、より一般化し、異なるLCMバックボーンをまたいで一般化し、より大きな問題サイズにスケールすることが示された。
論文 参考訳（メタデータ） (2026-01-28T12:34:50Z) - Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。
ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。
我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
論文 参考訳（メタデータ） (2025-10-11T18:11:09Z) - Dynamic Generation of Multi-LLM Agents Communication Topologies with Graph Diffusion Models [99.85131798240808]
我々はtextitGuided Topology Diffusion (GTD) と呼ばれる新しい生成フレームワークを導入する。
条件付き離散グラフ拡散モデルにインスパイアされたGTD式は、反復的な構成過程としてトポロジー合成を行う。
各ステップで生成は、多目的報酬を予測する軽量プロキシモデルによって制御される。
実験により、GTDは高いタスク適応性、スパース、効率的な通信トポロジを生成できることが示されている。
論文 参考訳（メタデータ） (2025-10-09T05:28:28Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。
本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。
本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
論文 参考訳（メタデータ） (2025-05-18T07:48:47Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Coalitions of Large Language Models Increase the Robustness of AI Agents [3.216132991084434]
大規模言語モデル(LLM)は、私たちがデジタルシステムと対話する方法を根本的に変えました。
LLMは強力で、いくつかの創発的な特性を示すことができるが、AIエージェントによって実行されるすべてのサブタスクでうまく機能するのに苦労する。
個別のサブタスクで特別性能を示す事前訓練されたLLMの連立系が,単一モデルエージェントの性能に適合するかどうかを評価する。
論文 参考訳（メタデータ） (2024-08-02T16:37:44Z) - Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。
現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
論文 参考訳（メタデータ） (2024-03-29T03:48:12Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。