論文の概要: AutoPref: Automatic Discovery of Task-Specific Preference Objectives for Neural Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2607.27953v1
- Date: Thu, 30 Jul 2026 10:01:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.501662
- Title: AutoPref: Automatic Discovery of Task-Specific Preference Objectives for Neural Combinatorial Optimization
- Title（参考訳）: AutoPref: ニューラルコンビネーション最適化のためのタスク特化選好対象の自動発見
- Abstract要約: 組合せ最適化問題は現実世界の多くの決定を下している。
NCOにおける自動選好対象発見のための最初のフレームワークであるAutoPrefを紹介する。
- 参考スコア（独自算出の注目度）: 25.449211039167192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Combinatorial optimization problems (COPs) underpin many real-world decisions, but their exponentially large search spaces make high-quality solutions costly to obtain. Neural combinatorial optimization (NCO) learns fast construction policies, typically with reinforcement learning (RL), while preference-based NCO improves sample efficiency by learning from relative solution quality. However, existing preference objectives combine two distinct design choices in manually specified, one-size-fits-all formulations: what learning signal to extract from each solution pair and how to weight each pair relative to the sampled set. We present AutoPref, the first LLM-guided framework for automated preference-objective discovery in NCO. AutoPref factorizes the objective into a pairwise loss program, which defines the learning signal, and a set-aware weighting program, which determines each pair's relative contribution. Their composition forms a unified programmatic objective space containing existing preference objectives as special cases. To make its search tractable, we introduce a staged conditional search strategy with behavioral gates that filter inadmissible programs before short-horizon training and evaluation. Across TSP, CVRP, FFSP, and JSSP, AutoPref consistently outperforms strong hand-designed baselines across problem scales, demonstrating the benefits and scalability of automated objective discovery for NCO.
- Abstract（参考訳）: 組合せ最適化問題(COP)は多くの実世界の決定を下しているが、その指数関数的に大きい探索空間は高品質な解を得るのにコストがかかる。
ニューラル組合せ最適化(NCO)は、通常強化学習(RL)で高速な構築ポリシーを学習する一方、嗜好に基づくNCOは相対的なソリューション品質から学習することでサンプル効率を改善する。
しかし、既存の選好目的は、各解対から抽出する学習信号と、サンプル集合に対する各ペアの重み付けの2つの異なる設計選択を、手動で指定した1サイズ全定式化と組み合わせている。
我々は,NCOにおける自動選好対象発見のための最初のLCM誘導フレームワークであるAutoPrefを紹介する。
AutoPrefは、目的を学習信号を定義するペアワイズ損失プログラムと、各ペアの相対的寄与を決定するセットアウェア重み付けプログラムに分解する。
それらの構成は、特別の場合として既存の嗜好目的を含む統一されたプログラム目的空間を形成する。
そこで本研究では, 短時間の訓練と評価の前に, 不許可なプログラムをフィルタリングする行動ゲート付き条件付きサーチ戦略を提案する。
TSP、CVRP、FFSP、JSSP全体で、AutoPrefは、問題スケール全体で強力な手設計のベースラインを一貫して上回り、NCOの自動目的発見のメリットとスケーラビリティを実証している。
関連論文リスト
- Nearly Optimal Active Preference Learning and Its Application to LLM Alignment [68.56793807995417]
大規模言語モデルの調整は、人間の好みラベルの高品質なデータセットに依存する。
既存の多くのアプローチでは、G-やD-最適化のような古典的な実験的な設計基準が採用されている。
本研究では,これら設計目標の適合性に疑問を呈する,選好学習に特有な単純な直観を同定する。
論文 参考訳（メタデータ） (2026-02-02T03:21:29Z) - Assessing an evolutionary search engine for small language models, prompts, and evaluation metrics [0.0]
言語モデルと命令プロンプトの同時最適化は、効率的で効果的なAIシステムをデプロイする上で大きな課題となる。
本稿では,この複雑な空間をナビゲートするために設計された双方向進化型検索エンジンを紹介し,評価する。
NSGA-IIアルゴリズムを用いて,タスクの精度とトークン効率の同時最適化を行う。
論文 参考訳（メタデータ） (2025-06-26T17:36:23Z) - Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。
大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。
統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
論文 参考訳（メタデータ） (2025-05-13T16:47:00Z) - Unlearning Works Better Than You Think: Local Reinforcement-Based Selection of Auxiliary Objectives [1.1743167854433303]
局所強化に基づく補助対象の選択(LRSAO)は、強化学習(RL)を用いて補助目的を選択する新しいアプローチである。
非単調ジャンプ関数のブラックボックス複雑性バージョンにおけるLRSAOの分析と評価を行った。
この結果から, $Theta(n2 / ell2 + n log(n))$の複雑さを実現し,大幅な改善を実現した。
論文 参考訳（メタデータ） (2025-04-19T23:00:24Z) - Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。
制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。
本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文 参考訳（メタデータ） (2025-03-27T17:34:25Z) - BOPO: Neural Combinatorial Optimization via Best-anchored and Objective-guided Preference Optimization [17.694852175354555]
目的値を介して解の選好を利用する訓練パラダイムであるBOPO(Best-anchored and Objective-Guided Preference Optimization)を提案する。
ジョブショップ問題(JSP)、トラベルセールスマン問題(TSP)、フレキシブルジョブショップスケジューリング問題(FJSP)の実験は、BOPOが最先端のニューラルメソッドより優れていることを示している。
論文 参考訳（メタデータ） (2025-03-10T17:45:30Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。
数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
論文 参考訳（メタデータ） (2024-09-02T12:55:27Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - From STL Rulebooks to Rewards [4.859570041295978]
本稿では,多目的の強化学習のための報酬形成のための原則的アプローチを提案する。
まずSTLに新しい定量的セマンティクスを組み、個々の要求を自動的に評価する。
次に,複数の要件の評価を1つの報酬に体系的に組み合わせる手法を開発した。
論文 参考訳（メタデータ） (2021-10-06T14:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。