論文の概要: ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention

• arxiv url: http://arxiv.org/abs/2506.11052v1
• Date: Thu, 22 May 2025 09:33:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.521214
• Title: ACCORD: Autoregressive Constraint-satisfying Generation for COmbinatorial Optimization with Routing and Dynamic attention
• Title（参考訳）: ACCORD: 自動回帰制約充足生成による協調的最適化とルーティングと動的注意
• Authors: Henrik Abgaryan, Tristan Cazenave, Ararat Harutyunyan,
• Abstract要約: 大規模言語モデル (LLM) は印象的な推論能力を示しているが、NP-hard problem (CP) への直接的応用は未定である。 本稿では, 自動回帰制約充足生成法(ACCORD: Autoregressive Constraint-Satisfying generation)を紹介する。
• 参考スコア（独自算出の注目度）: 3.435169201271934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, yet their direct application to NP-hard combinatorial problems (CPs) remains underexplored. In this work, we systematically investigate the reasoning abilities of LLMs on a variety of NP-hard combinatorial optimization tasks and introduce ACCORD: Autoregressive Constraint-satisfying generation for COmbinatorial optimization with Routing and Dynamic attention. ACCORD features a novel dataset representation and model architecture that leverage the autoregressive nature of LLMs to dynamically enforce feasibility constraints, coupled with attention-based routing to activate problem-specific LoRA modules. We also present the ACCORD-90k supervised dataset, covering six NP-hard combinatorial problems: TSP, VRP, Knapsack, FlowShop, JSSP, and BinPacking. Extensive experiments demonstrate that our ACCORD model, built on an 8B-parameter Llama backbone, consistently outperforms standard prompting and input-output methods, even when compared to much larger LLMs, such as gpt-4. Ablation studies further show that our output structure enhances solution feasibility. To the best of our knowledge, this is the first large-scale, end-to-end framework for exploring the applications of LLMs to a broad spectrum of combinatorial optimization problems. The codes are publicly available at https://github.com/starjob42/ACCORD
• Abstract（参考訳）: 大規模言語モデル (LLMs) は印象的な推論能力を示しているが、NP-hard combinatorial problem (CPs) への直接的応用は未定である。 本研究では,様々なNPハード組合せ最適化タスクにおけるLLMの推論能力を体系的に検討し,ACCORD: Autoregressive Constraint-satisfying generation for COmbinatorial Optimization with Routing and Dynamic attention。 ACCORDは、LLMの自己回帰的性質を活用して、実行可能性制約を動的に実施する新しいデータセット表現とモデルアーキテクチャと、問題固有のLoRAモジュールを活性化するためのアテンションベースのルーティングを備えている。 また,TSP,VRP,Knapsack,FlowShop,JSSP,BinPackingの6つのNPハード組合せ問題をカバーするACCORD-90k教師付きデータセットを提案する。 広汎な実験により,8BパラメータのLlamaバックボーン上に構築されたACCORDモデルは,gpt-4のようなより大きなLLMと比較しても,標準のプロンプト法や入出力法より一貫して優れていた。 さらにアブレーション研究により,我々の出力構造が解実現可能性を高めることが示されている。 我々の知る限り、このフレームワークはLLMの幅広い組み合わせ最適化問題への応用を探索する最初の大規模エンドツーエンドフレームワークである。 コードはhttps://github.com/starjob42/ACCORDで公開されている。

関連論文リスト

• Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
  言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。 彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。 近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
  論文  参考訳（メタデータ） (2025-06-06T23:13:08Z)
• Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
  大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。 ベイズ最適化を用いた信頼しきい値の選択と比較すると、マルコフパラメトリックコプラモデルの方がエラーコストのトレードオフに有利である。 異なるLLMの誤差率間の相互作用に関する我々のフレームワークの帰納的仮定は、サンプル効率を高める。
  論文  参考訳（メタデータ） (2025-01-16T07:58:33Z)
• LLM-based Bi-level Multi-interest Learning Framework for Sequential Recommendation [54.396000434574454]
  本稿では,暗黙的行動と明示的意味論的視点を組み合わせた新しい多目的SRフレームワークを提案する。 Implicit Behavioral Interest ModuleとExplicit Semantic Interest Moduleの2つのモジュールが含まれている。 4つの実世界のデータセットの実験は、フレームワークの有効性と実用性を検証する。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
  大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。