論文の概要: EPOCH: Coverage-Aware Evolution with Experiential Preference Optimization for LLM-based Automated Heuristic Design

• arxiv url: http://arxiv.org/abs/2610.17379v1
• Date: Mon, 12 Oct 2026 20:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.452102
• Title: EPOCH: Coverage-Aware Evolution with Experiential Preference Optimization for LLM-based Automated Heuristic Design
• Title（参考訳）: EPOCH: LLMに基づく自動ヒューリスティック設計のための経験的選好最適化によるカバレッジ・アウェア進化
• Abstract要約: 本稿では,進化的探索の目的をインスタンスカバレッジとし,内部化のためのジェネレータを微調整するEPOCHを提案する。 教師は、生成されたリフレクションに関する自然言語の洞察を返し、ジェネレータは、この洞察でニュースを生成する。
• 参考スコア（独自算出の注目度）: 15.194104001401705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based automated heuristic design (AHD) discovers heuristics for combinatorial optimization problems (COPs), where an LLM generates candidates in an evolutionary search. Existing frameworks freeze the generator or fine-tune it on a scalar fitness signal hiding which instances each heuristic covers. Reflection-based frameworks improve heuristics with natural-language feedback, but it stays in the prompt and never reaches the generator's weights. We propose EPOCH, which makes instance coverage the objective of the evolutionary search and fine-tunes the generator to internalize reflection. Parent selection, operator allocation, and stagnation recovery all optimize how well the heuristics jointly cover the training instances, so the search returns a complementary heuristic ensemble. The generator learns from its own search by experiential preference optimization. A teacher LLM returns a natural-language insight on the generated heuristics, and the generator produces new heuristics with this insight. These improvements join the preference pairs for direct preference optimization (DPO). Since DPO only teaches the generator to rank these improvements, a reflective self-distillation (RSD) term makes it more likely to generate them on its own, and the gains accumulate over the long horizon of the search. Across COPs and open-source LLM backbones, EPOCH's heuristic ensembles outperform inference-only and fine-tuned baselines and generalize across problem scales.
• Abstract（参考訳）: LLMに基づく自動ヒューリスティック設計(AHD)は、LLMが進化探索において候補を生成する組合せ最適化問題(COP)のヒューリスティックスを発見する。 既存のフレームワークはジェネレータを凍結するか、各ヒューリスティックカバーのインスタンスを隠蔽するスカラーフィットネス信号に微調整する。 リフレクションベースのフレームワークは、自然言語フィードバックでヒューリスティックスを改善するが、プロンプトに留まり、ジェネレータの重みに到達しない。 本稿では,進化探索の目的をインスタンスカバレッジとし,反射を内部化するためのジェネレータを微調整するEPOCHを提案する。 親の選択、オペレータの割り当て、停滞回復はすべて、ヒューリスティックがトレーニングインスタンスをいかにうまくカバーするかを最適化するため、検索は相補的なヒューリスティックアンサンブルを返す。 ジェネレータは、経験的選好最適化により、独自の探索から学習する。 教師のLLMは、生成したヒューリスティックスに関する自然言語の洞察を返し、ジェネレータは、この洞察で新しいヒューリスティックスを生成する。 これらの改善は、直接選好最適化(DPO)のための選好ペアと結合する。 DPOはジェネレータにこれらの改善をランク付けするようにしか教えないため、反射自己蒸留(RSD)という用語はそれらを単独で生成しやすくし、探索の長い地平線上にゲインが蓄積する。 EPOCHのヒューリスティックアンサンブルは、COPとオープンソースのLCMバックボーン全体にわたって、推論専用で微調整されたベースラインを上回り、問題スケールにわたって一般化する。

関連論文リスト

• ES-AHD: An Evolution Strategy Framework for Automatic Heuristic Design [7.824692248307952]
  進化戦略(ES)を大規模言語モデル(LLM)駆動型自動ヒューリスティックデザイン(AHD)に統合する新しいフレームワークであるES-AHDを紹介する。 ES-AHDは、高度に指向性があり、堅牢で効率的な探索パラダイムを提供し、高品質なアルゴリズムの生成を著しく加速する。
  論文  参考訳（メタデータ） (2026-08-26T06:43:31Z)
• Poly-EPO: Training Exploratory Reasoning Models [62.82992914206963]
  本稿では,学習後言語モデル(LM)の枠組みについて,楽観的な探索を明示的に奨励し,探索と搾取の相乗効果を促進する。 本稿では,この枠組みを探索と利用を明確に相乗化するための目的として,ポリクロミック探索政策最適化(Poly-EPO)を提案する。
  論文  参考訳（メタデータ） (2026-04-19T22:54:19Z)
• ReVEL: Multi-Turn Reflective LLM-Guided Heuristic Evolution via Structured Performance Feedback [0.0]
  ReVEL: 構造化性能フィードバックによるマルチTurn反射型LLM-Huristic Evolutionを提案する。 ReVELの中核は、(i)パフォーマンスに目立ったグループ化と(ii)マルチターンフィードバック駆動リフレクションの2つのメカニズムにある。 本結果は,自動設計の原則的パラダイムとして,構造化グループを用いたマルチターン推論に注目した。
  論文  参考訳（メタデータ） (2026-03-05T04:52:11Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。 本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
  論文  参考訳（メタデータ） (2025-02-10T04:29:36Z)
• Online Preference Alignment for Language Models via Count-based Exploration [46.46627519343809]
  Reinforcement Learning from Human Feedback (RLHF)は、人間の好みに合わせて微調整された大規模言語モデル(LLM)に大きな可能性を示している。 既存のメソッドは、データカバレッジに制限のある、固定データセットからの好みのアライメントを実行する。 オンラインRLHFは、プロンプト-レスポンスペアを反復的に収集することで、LLMが初期データセットのサポートの外部を探索できるようにするのが望ましい。
  論文  参考訳（メタデータ） (2025-01-22T09:12:09Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。