論文の概要: UNCO: Towards Unifying Neural Combinatorial Optimization through Large Language Model
- arxiv url: http://arxiv.org/abs/2408.12214v1
- Date: Thu, 22 Aug 2024 08:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 14:43:27.604850
- Title: UNCO: Towards Unifying Neural Combinatorial Optimization through Large Language Model
- Title（参考訳）: UNCO: 大規模言語モデルによるニューラルコンビネーション最適化の統一を目指す
- Authors: Xia Jiang, Yaoxin Wu, Yuan Wang, Yingqian Zhang,
- Abstract要約: 1つのモデルで異なるタイプの最適化問題(COP)を解決するために、統一的なニューラルネットワーク最適化フレームワークを提案する。
我々は自然言語を用いて、異なるCOPに対してテキスト分散インスタンスを定式化し、それらを大言語モデル(LLM)によって同じ埋め込み空間にエンコードする。
実験により、UNCOモデルはシングルセッショントレーニング後に複数のCOPを解決でき、伝統的なベースラインや学習ベースのベースラインに匹敵する満足なパフォーマンスを達成できることが示された。
- 参考スコア（独自算出の注目度）: 21.232626415696267
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, applying neural networks to address combinatorial optimization problems (COPs) has attracted considerable research attention. The prevailing methods always train deep models independently on specific problems, lacking a unified framework for concurrently tackling various COPs. To this end, we propose a unified neural combinatorial optimization (UNCO) framework to solve different types of COPs by a single model. Specifically, we use natural language to formulate text-attributed instances for different COPs and encode them in the same embedding space by the large language model (LLM). The obtained embeddings are further advanced by an encoder-decoder model without any problem-specific modules, thereby facilitating a unified process of solution construction. We further adopt the conflict gradients erasing reinforcement learning (CGERL) algorithm to train the UNCO model, delivering better performance across different COPs than vanilla multi-objective learning. Experiments show that the UNCO model can solve multiple COPs after a single-session training, and achieves satisfactory performance that is comparable to several traditional or learning-based baselines. Instead of pursuing the best performance for each COP, we explore the synergy between tasks and few-shot generalization based on LLM to inspire future work.
- Abstract（参考訳）: 近年,組合せ最適化問題(COP)にニューラルネットワークを適用した研究が注目されている。
一般的な方法は、特定の問題に対して独立してディープモデルを訓練し、様々なCOPを同時に扱うための統一されたフレームワークを欠いている。
そこで本研究では,異なる種類のCOPを単一モデルで解くために,UNCO(Unified Neural combinatorial Optimization)フレームワークを提案する。
具体的には、自然言語を用いて異なるCOPに対してテキスト分散インスタンスを定式化し、それらを大言語モデル(LLM)によって同じ埋め込み空間にエンコードする。
得られた埋め込みは、問題固有のモジュールを持たないエンコーダ・デコーダモデルによりさらに進歩し、ソリューション構築の統一プロセスを容易にする。
我々はさらに、強化学習(CGERL)アルゴリズムを応用してUNCOモデルを訓練し、バニラ多目的学習よりも異なるCOP間で優れた性能を提供する。
実験により、UNCOモデルはシングルセッショントレーニング後に複数のCOPを解決でき、伝統的なベースラインや学習ベースのベースラインに匹敵する満足なパフォーマンスを達成できることが示された。
各COPで最高の性能を追求する代わりに,LCMに基づくタスクと数ショットの一般化の相乗効果を探求し,今後の研究を刺激する。
関連論文リスト
- Large Language Models for Combinatorial Optimization of Design Structure Matrix [4.513609458468522]
エンジニアリングアプリケーションの効率と性能を改善するためには、組合せ最適化(CO)が不可欠である。
実世界の工学的問題に関しては、純粋数学的推論に基づくアルゴリズムは限定的であり、最適化に必要な文脈ニュアンスを捉えることができない。
本研究では,工学的CO問題の解法におけるLarge Language Models (LLMs) の可能性について,その推論能力と文脈的知識を活用して検討する。
論文 参考訳（メタデータ） (2024-11-19T15:39:51Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。
提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
論文 参考訳（メタデータ） (2024-08-07T08:43:32Z) - Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。
OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。
OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
論文 参考訳（メタデータ） (2024-07-09T07:11:10Z) - Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。
中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。
このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
論文 参考訳（メタデータ） (2024-06-13T12:43:40Z) - Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。
私たちの目標は、進化の集団の収束を早めることです。
論文 参考訳（メタデータ） (2024-05-09T13:44:04Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。
SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。
高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2024-02-28T00:09:07Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。
我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
論文 参考訳（メタデータ） (2023-11-06T03:41:57Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳（メタデータ） (2023-09-30T07:11:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。