論文の概要: Large Language Models as Amortized Pareto-Front Generators for Constrained Bi-Objective Convex Optimization

• arxiv url: http://arxiv.org/abs/2605.12106v1
• Date: Tue, 12 May 2026 13:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.880653
• Title: Large Language Models as Amortized Pareto-Front Generators for Constrained Bi-Objective Convex Optimization
• Title（参考訳）: 制約付き二目的凸最適化のための記憶型パレートFrontジェネレータとしての大規模言語モデル
• Authors: Peipei Xu, SiYuan Ma, Yaohua Liu, Yu Wu, Guanliang Liu, Yang Zhang, Yong Liu,
• Abstract要約: DIPSは、制約付き双方向凸最適化のための償却ジェネレータとして、大きな言語モデルを微調整するエンドツーエンドフレームワークである。 自己回帰型言語モデリングと連続最適化を両立させるため、DIPSはコンパクトな離散化スキーム、新しい数値トークンのための数値接地トークン初期化、三相カリキュラム最適化を組み合わせた。 vLLM加速推論では、DIPSは1つのインスタンスを0.16秒で解き、汎用性や推論のLCMベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 21.83927813316836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating feasible Pareto fronts for constrained bi-objective continuous optimization is central to multi-criteria decision-making. Existing methods usually rely on iterative scalarization, evolutionary search, or problem-specific solvers, requiring repeated optimization for each instance. We introduce DIPS, an end-to-end framework that fine-tunes large language models as amortized Pareto-front generators for constrained bi-objective convex optimization. Given a textual problem description, DIPS directly outputs an ordered set of feasible continuous decision vectors approximating the Pareto front. To make continuous optimization compatible with autoregressive language modeling, DIPS combines a compact discretization scheme, Numerically Grounded Token Initialization for new numerical tokens, and Three-Phase Curriculum Optimization, which progressively aligns structural validity, feasibility, and Pareto-front quality. Across five families of constrained bi-objective convex problems, a fine-tuned 7B-parameter model achieves normalized hypervolume ratios of 95.29% to 98.18% relative to reference fronts. With vLLM-accelerated inference, DIPS solves one instance in as little as 0.16 seconds and outperforms general-purpose and reasoning LLM baselines under the evaluated setting. These results suggest that LLMs can serve as effective amortized generators for continuous Pareto-front approximation.
• Abstract（参考訳）: 制約付き2目的連続最適化のための実現可能なパレートフロントの生成は、多重基準決定の中心である。 既存の手法は通常、反復的なスカラー化、進化的探索、あるいは問題固有の解法に依存し、各インスタンスに対して繰り返し最適化を必要とする。 DIPSは、制約付き双方向凸最適化のためのアモータライズされたパレートフロントジェネレータとして、大規模言語モデルを微調整するエンドツーエンドフレームワークである。 テキスト上の問題記述が与えられた場合、DIPSは直接パレートフロントを近似する実行可能な連続決定ベクトルの順序セットを出力する。 自己回帰型言語モデリングと連続的な最適化を両立させるために、DIPSは、コンパクトな離散化スキーム、新しい数値トークンのための数値接地トークン初期化、構造的妥当性、実現可能性、パレートフロント品質を段階的に整列する3相カリキュラム最適化を組み合わせた。 制約された2オブジェクトの凸問題の5つのファミリーにわたって、微調整された7Bパラメーターモデルは、基準フロントに対して95.29%から98.18%の正規化された超体積比を達成する。 vLLM加速推論では、DIPSは1つのインスタンスを0.16秒で解き、評価された設定下での汎用的および推論LSMベースラインを上回っている。 これらの結果から, LLMは連続パレートフロント近似に有効なアモータイズジェネレータとして機能することが示唆された。

関連論文リスト

• Multi-Objective Bayesian Optimization via Adaptive \varepsilon-Constraints Decomposition [19.76344805798142]
  逐次的ゲティング適応ギャップフィリング$varepsilon$-Constraint Bayesian Optimizationを提案する。 近似パレートフロントのカバレッジを解析することにより,最も大きな幾何学的ギャップを同定する。 これらのギャップは制約として使用され、問題から不等式に制約されたサブプロブレムの列へと変換される。
  論文  参考訳（メタデータ） (2026-04-17T11:24:56Z)
• Pareto-Optimal Offline Reinforcement Learning via Smooth Tchebysheff Scalarization [2.5513673603819886]
  大規模な言語モデルは、小さなラベル付きデータセット上のオフライン強化学習(RL)を通じて、人間の好みに合わせることができる。 我々はこの手法を用いてSTOMP(Smooth Tchebysheff of Multi-Objective Preferences)を導出する。 STOMPは,9つの設定のうち8つの設定において,非政治的および生成的評価の両面から最も高い超対象を達成している。
  論文  参考訳（メタデータ） (2026-04-14T18:00:39Z)
• New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
  fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。 ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-10T22:39:38Z)
• Multinoulli Extension: A Lossless Continuous Relaxation for Partition-Constrained Subset Selection [60.07018090570548]
  我々はパラメータフリーで、歪んだ局所探索法と同じ近似保証を実現できるMultinoulliSCGという新しいアルゴリズムを導入する。 また、分割制約に関する未探索オンラインサブセット選択問題に対して、Multinoulli-CGとMultinoulli-GAGAという2つの新しいオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-23T02:30:01Z)
• From Parameter to Representation: A Closed-Form Approach for Controllable Model Merging [22.794831741556468]
  モデルマージは、マルチタスクのパフォーマンスのエキスパートモデルを組み合わせるが、パラメータ干渉による課題に直面している。 既存のアプローチではコンパイル型クエリーのパラダイムを採用しており、高速で好み対応のモデル生成を可能にするために、コストのかかるオフラインの多目的最適化を実行する。 我々は、この補正を最適線形変換としてモデル化し、オフライン最適化プロセス全体を単一ステップでアーキテクチャに依存しない計算で置き換える閉形式解を得る。
  論文  参考訳（メタデータ） (2025-11-14T04:09:25Z)
• Scalable Min-Max Optimization via Primal-Dual Exact Pareto Optimization [66.51747366239299]
  拡張ラグランジアンに基づくmin-max問題のスムーズな変種を提案する。 提案アルゴリズムは, 段階的戦略よりも目的数で拡張性が高い。
  論文  参考訳（メタデータ） (2025-03-16T11:05:51Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Global Optimization: A Machine Learning Approach [7.052596485478637]
  Bertsimas と Ozturk (2023) は、ブラックボックスのグローバル最適化問題を解決する方法として OCTHaGOn を提案した。 我々は、他のMIO表現可能なMLモデルを用いて、元の問題を近似することで、このアプローチの拡張を提供する。 多くの場合において、ソリューションの実現可能性と最適性の改善を示す。
  論文  参考訳（メタデータ） (2023-11-03T06:33:38Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization [0.0]
  本稿では,高コストな多目的・多目的最適化問題を解くために,代用型参照ベクトル適応法(SRVA)を提案する。 提案アルゴリズムは他の2つのMBOアルゴリズムとベンチマーク問題に適用して比較する。 実験結果から, 対象関数がKrigingモデルにより合理的に近似された問題において, 提案アルゴリズムが他の2つより優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-10T03:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。