論文の概要: ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention
- arxiv url: http://arxiv.org/abs/2506.11052v1
- Date: Thu, 22 May 2025 09:33:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-22 23:32:14.521214
- Title: ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention
- Title（参考訳）: ACCORD: 自動回帰制約充足生成による協調的最適化とルーティングと動的注意
- Authors: Henrik Abgaryan, Tristan Cazenave, Ararat Harutyunyan,
- Abstract要約: 大規模言語モデル (LLM) は印象的な推論能力を示しているが、NP-hard problem (CP) への直接的応用は未定である。
本稿では, 自動回帰制約充足生成法(ACCORD: Autoregressive Constraint-Satisfying generation)を紹介する。
- 参考スコア（独自算出の注目度）: 3.435169201271934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, yet their direct application to NP-hard combinatorial problems (CPs) remains underexplored. In this work, we systematically investigate the reasoning abilities of LLMs on a variety of NP-hard combinatorial optimization tasks and introduce ACCORD: Autoregressive Constraint-satisfying generation for COmbinatorial optimization with Routing and Dynamic attention. ACCORD features a novel dataset representation and model architecture that leverage the autoregressive nature of LLMs to dynamically enforce feasibility constraints, coupled with attention-based routing to activate problem-specific LoRA modules. We also present the ACCORD-90k supervised dataset, covering six NP-hard combinatorial problems: TSP, VRP, Knapsack, FlowShop, JSSP, and BinPacking. Extensive experiments demonstrate that our ACCORD model, built on an 8B-parameter Llama backbone, consistently outperforms standard prompting and input-output methods, even when compared to much larger LLMs, such as gpt-4. Ablation studies further show that our output structure enhances solution feasibility. To the best of our knowledge, this is the first large-scale, end-to-end framework for exploring the applications of LLMs to a broad spectrum of combinatorial optimization problems. The codes are publicly available at https://github.com/starjob42/ACCORD
- Abstract（参考訳）: 大規模言語モデル (LLMs) は印象的な推論能力を示しているが、NP-hard combinatorial problem (CPs) への直接的応用は未定である。
本研究では,様々なNPハード組合せ最適化タスクにおけるLLMの推論能力を体系的に検討し,ACCORD: Autoregressive Constraint-satisfying generation for COmbinatorial Optimization with Routing and Dynamic attention。
ACCORDは、LLMの自己回帰的性質を活用して、実行可能性制約を動的に実施する新しいデータセット表現とモデルアーキテクチャと、問題固有のLoRAモジュールを活性化するためのアテンションベースのルーティングを備えている。
また,TSP,VRP,Knapsack,FlowShop,JSSP,BinPackingの6つのNPハード組合せ問題をカバーするACCORD-90k教師付きデータセットを提案する。
広汎な実験により,8BパラメータのLlamaバックボーン上に構築されたACCORDモデルは,gpt-4のようなより大きなLLMと比較しても,標準のプロンプト法や入出力法より一貫して優れていた。
さらにアブレーション研究により,我々の出力構造が解実現可能性を高めることが示されている。
我々の知る限り、このフレームワークはLLMの幅広い組み合わせ最適化問題への応用を探索する最初の大規模エンドツーエンドフレームワークである。
コードはhttps://github.com/starjob42/ACCORDで公開されている。
関連論文リスト
- RL-PLUS: Countering Capability Boundary Collapse of LLMs in Reinforcement Learning with Hybrid-policy Optimization [86.30192066451256]
大規模言語モデル(LLM)のための新しいハイブリッド政治最適化手法RL-PLUSを提案する。
RL-PLUSは、外部データと内部エクスプロイトを相乗化して、より強力な推論能力を達成し、ベースモデルのバウンダリを超える。
提案手法の優位性と一般化性を示すため,理論解析と広範な実験を行った。
論文 参考訳（メタデータ） (2025-07-31T23:55:29Z) - LLM4Hint: Leveraging Large Language Models for Hint Recommendation in Offline Query Optimization [7.00597706249493]
本稿では,学習句の一般化を促進するために,Large Language Model(LLM)をどのように組み込むかを検討する。
我々は,中規模のバックボーンLLMを利用してクエリ最適化ヒントを推奨する textbfLLM4Hint を提案する。
論文 参考訳（メタデータ） (2025-07-04T08:32:17Z) - Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。
彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。
近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
論文 参考訳（メタデータ） (2025-06-06T23:13:08Z) - DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。
本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。
公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2025-05-22T15:49:38Z) - Starjob: Dataset for LLM-Driven Job Shop Scheduling [3.435169201271934]
ジョブショップスケジューリング問題(JSSP)の最初の教師付きデータセットであるStarjobを紹介します。
LLaMA 8B 4ビット量子化モデルをLoRA法で微調整し、エンドツーエンドのスケジューリング手法を開発した。
提案手法は従来のプライオリティ・ディスパッチ・ルール(PDR)を超えるだけでなく,L2Dのような最先端のニューラルアプローチよりも顕著に改善されていることを示す。
論文 参考訳（メタデータ） (2025-02-26T15:20:01Z) - Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。
ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。
異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
論文 参考訳（メタデータ） (2025-01-16T07:58:33Z) - LLM-based Bi-level Multi-interest Learning Framework for Sequential Recommendation [54.396000434574454]
本稿では,暗黙的行動と明示的意味論的視点を組み合わせた新しい多目的SRフレームワークを提案する。
Implicit Behavioral Interest ModuleとExplicit Semantic Interest Moduleの2つのモジュールが含まれている。
4つの実世界のデータセットの実験は、フレームワークの有効性と実用性を検証する。
論文 参考訳（メタデータ） (2024-11-14T13:00:23Z) - Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。
LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。
訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
論文 参考訳（メタデータ） (2024-10-01T16:10:21Z) - LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。
LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
論文 参考訳（メタデータ） (2024-09-30T03:59:06Z) - Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。
様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。
我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
論文 参考訳（メタデータ） (2024-08-14T10:03:40Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳（メタデータ） (2024-02-18T14:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。