論文の概要: Relation Reasoning with LLMs in Expensive Optimization

• arxiv url: http://arxiv.org/abs/2605.02933v1
• Date: Thu, 30 Apr 2026 04:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.507045
• Title: Relation Reasoning with LLMs in Expensive Optimization
• Title（参考訳）: 余剰最適化におけるLLMとの相関関係
• Authors: Ye Lu, Bingdong Li, Aimin Zhou, Hao Hao,
• Abstract要約: 本稿では,強化学習型関係ベース大規模言語モデル (LLM) であるR2SAEAを提案する。 関係性に基づく代理モデリングをコンテキスト内のペアワイズ推論タスクとして用いた。 単目的と多目的のベンチマーク実験では、関係予測と最先端の最適化性能が改善された。
• 参考スコア（独自算出の注目度）: 19.271995977675758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expensive optimization problems (EOPs) are black-box tasks with costly objective evaluations and no gradient access, making the evaluation budget the key bottleneck. Surrogate-assisted evolutionary algorithms (SAEAs) reduce evaluations via surrogate predictions, but conventional surrogates often require frequent retraining as populations evolve, incurring overhead. This paper proposes R2SAEA, a reinforcement-trained relation-based large language model (LLM) surrogate assisted evolutionary algorithm. We cast relation-based surrogate modeling as an in-context pairwise reasoning task. To enable efficient inference in evolutionary loops, we develop an anchor-based iterative context construction strategy that reduces prompt complexity from quadratic to linear in population size, and a voting-based aggregation scheme that converts predicted relations into scores for offspring selection. We further build an RL pipeline from evolutionary trajectories and fine-tune Qwen2.5 with GRPO. Experiments on single- and multi-objective benchmarks show improved relation prediction and state-of-the-art optimization performance over strong SAEA baselines and general LLMs. Quantization also enables efficient edge deployment, supporting a zero-shot surrogate paradigm without per-generation retraining. Code and models are available at https://github.com/Septend9/R2SAEA.
• Abstract（参考訳）: 重大最適化問題(EOP)は、コストのかかる客観的評価と勾配アクセスのないブラックボックスタスクであり、評価予算を主要なボトルネックにしている。 サロゲート支援進化アルゴリズム(SAEA)はサロゲート予測による評価を減らすが、従来のサロゲートは人口の進化に伴って頻繁に再訓練を必要とし、オーバーヘッドを発生させる。 本稿では,強化学習型関係ベース大規模言語モデル (LLM) であるR2SAEAを提案する。 関係性に基づく代理モデリングをコンテキスト内のペアワイズ推論タスクとして用いた。 進化的ループの効率的な推論を可能にするため,人口規模が2次から線形に急激な複雑性を減少させるアンカーベースの反復的文脈構築戦略と,予測された関係を子孫選択のスコアに変換する投票に基づくアグリゲーション手法を開発した。 さらに、進化軌道からRLパイプラインを構築し、GRPOでQwen2.5を微調整する。 単目的および多目的のベンチマーク実験では、強いSAEAベースラインと一般的なLLMに対する関係予測と最先端の最適化性能が改善された。 量子化はまた、効率的なエッジデプロイメントを可能にし、世代単位の再トレーニングなしでゼロショットサロゲートパラダイムをサポートする。 コードとモデルはhttps://github.com/Septend9/R2SAEAで公開されている。

関連論文リスト

• ReVEL: Multi-Turn Reflective LLM-Guided Heuristic Evolution via Structured Performance Feedback [0.0]
  ReVEL: 構造化性能フィードバックによるマルチTurn反射型LLM-Huristic Evolutionを提案する。 ReVELの中核は、(i)パフォーマンスに目立ったグループ化と(ii)マルチターンフィードバック駆動リフレクションの2つのメカニズムにある。 本結果は,自動設計の原則的パラダイムとして,構造化グループを用いたマルチターン推論に注目した。
  論文  参考訳（メタデータ） (2026-03-05T04:52:11Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
  強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。 しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。 本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-03T13:05:32Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning [11.31665596884142]
  人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデルの出力と人間の嗜好を整合させる重要な手法として登場した。 既存のRLHFアルゴリズムの多くはBradley-Terryモデルを使用しており、これは人間の好みに関する仮定に依存しており、現実世界の判断の複雑さや変動性を反映していない。 そこで我々は,そのような報酬モデルの不特定条件下での既存手法の性能向上のための頑健なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-03T16:16:35Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• A First Look at Kolmogorov-Arnold Networks in Surrogate-assisted Evolutionary Algorithms [5.198324938447394]
  サロゲート支援進化アルゴリズム(SAEA)は高価な問題を解決するための重要な手法である。 本稿では,SAEA内の代理モデルとしてKAN(Kolmogorov-Arnold Networks)を紹介する。 KansはSAEA内での賞賛可能なパフォーマンスを示し、関数呼び出しの数を効果的に減らし、最適化効率を向上する。
  論文  参考訳（メタデータ） (2024-05-26T09:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。