論文の概要: Combinatorial Optimization via LLM-driven Iterated Fine-tuning

• arxiv url: http://arxiv.org/abs/2503.06917v2
• Date: Fri, 14 Mar 2025 00:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:32.758733
• Title: Combinatorial Optimization via LLM-driven Iterated Fine-tuning
• Title（参考訳）: LLM駆動反復微調整による組合せ最適化
• Authors: Pranjal Awasthi, Sreenivas Gollapudi, Ravi Kumar, Kamesh Munagala,
• Abstract要約: 我々は,Large Language Models (LLMs) を利用して,柔軟で文脈に依存しない制約を最適化に統合する新しい方法を提案する。 本フレームワークは, 局所的制約と厳密なグローバル最適化とのバランスを, ベースラインサンプリング法よりも効率的に行う。
• 参考スコア（独自算出の注目度）: 47.66752049943335
• License:
• Abstract: We present a novel way to integrate flexible, context-dependent constraints into combinatorial optimization by leveraging Large Language Models (LLMs) alongside traditional algorithms. Although LLMs excel at interpreting nuanced, locally specified requirements, they struggle with enforcing global combinatorial feasibility. To bridge this gap, we propose an iterated fine-tuning framework where algorithmic feedback progressively refines the LLM's output distribution. Interpreting this as simulated annealing, we introduce a formal model based on a "coarse learnability" assumption, providing sample complexity bounds for convergence. Empirical evaluations on scheduling, graph connectivity, and clustering tasks demonstrate that our framework balances the flexibility of locally expressed constraints with rigorous global optimization more effectively compared to baseline sampling methods. Our results highlight a promising direction for hybrid AI-driven combinatorial reasoning.
• Abstract（参考訳）: 本稿では,Large Language Models (LLM) を従来のアルゴリズムと併用することにより,柔軟で文脈に依存した制約を組合せ最適化に統合する手法を提案する。 LLMはニュアンス付き、局所的に規定された要件を解釈するのに優れているが、グローバルな組合せ実現可能性の強化に苦慮している。 このギャップを埋めるために,アルゴリズムによるフィードバックがLLMの出力分布を段階的に洗練する,反復的な微調整フレームワークを提案する。 これを擬似アニーリングと解釈し、「粗い学習可能性」の仮定に基づく形式モデルを導入する。 スケジューリング,グラフ接続,クラスタリングタスクに関する実証的な評価は,我々のフレームワークが,局所的に表現された制約の柔軟性と厳密なグローバル最適化とのバランスを,ベースラインサンプリング法よりも効果的に表していることを示している。 我々の結果は、ハイブリッドAI駆動の組合せ推論における有望な方向性を浮き彫りにした。

関連論文リスト

• Hint Marginalization for Improved Reasoning in Large Language Models [24.67507932821155]
  大規模言語モデル(LLM)の推論能力を高める新しいアルゴリズムフレームワークであるMarginalizationを提案する。 提案手法は,モンテカルロ近似を基礎となる回答分布の反復的サンプリング戦略とみなすことができる。 算術的推論のためのいくつかのベンチマークデータセットに対する経験的評価は、提案手法の優位性を示している。
  論文  参考訳（メタデータ） (2024-12-17T19:45:53Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Evaluation of Prosumer Networks for Peak Load Management in Iran: A Distributed Contextual Stochastic Optimization Approach [0.0]
  本稿では,イランにおけるピーク負荷軽減を目的とした新しいプロシューマーネットワークフレームワークを提案する。 コスト指向の統合予測と最適化手法を提案する。 数値的な結果から,最適化とコンテキスト情報共有ネットワークの実装による予測の統合は,ピーク負荷と総コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2024-08-31T16:09:38Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Late Fusion Multi-view Clustering via Global and Local Alignment Maximization [61.89218392703043]
  マルチビュークラスタリング(MVC)は、異なるビューからの補完情報を最適に統合し、クラスタリング性能を改善する。 既存のアプローチの多くは、クラスタリングに最適な類似性行列を学ぶために、複数の事前定義された類似性を直接融合する。 これらの問題に対処するために、アライメントを通してレイトフュージョンMVCを提案する。
  論文  参考訳（メタデータ） (2022-08-02T01:49:31Z)
• Constrained Combinatorial Optimization with Reinforcement Learning [0.30938904602244344]
  本稿では,RL(Deep Reinforcement Learning)を用いた制約付き最適化問題に対処する枠組みを提案する。 我々は、その定式化における制約に対処するために、Neural Combinatorial Optimization(NCO)理論を拡張した。 その文脈では、ソリューションは環境との相互作用に基づいて反復的に構築されます。
  論文  参考訳（メタデータ） (2020-06-22T03:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。