論文の概要: Aligning LLMs with Graph Neural Solvers for Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2603.27169v1
- Date: Sat, 28 Mar 2026 07:07:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:44.825296
- Title: Aligning LLMs with Graph Neural Solvers for Combinatorial Optimization
- Title(参考訳): 組合せ最適化のためのグラフニューラルソルバーを用いたLLMのアライメント
- Authors: Shaodi Feng, Zhuoyi Lin, Yaoxin Wu, Haiyan Yin, Yan Jin, Senthilnath Jayavelu, Xun Xu,
- Abstract要約: 言語モデルとグラフニューラルソルバを整合させてより一般化可能なニューラルCOPを学習する新しいアプローチであるAlignOPTを提案する。
我々のアプローチは、言語意味論と構造表現の堅牢な統合と整合化を促進し、より正確でスケーラブルなCOPソリューションを可能にします。
- 参考スコア(独自算出の注目度): 23.53424889758332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research has demonstrated the effectiveness of large language models (LLMs) in solving combinatorial optimization problems (COPs) by representing tasks and instances in natural language. However, purely language-based approaches struggle to accurately capture complex relational structures inherent in many COPs, rendering them less effective at addressing medium-sized or larger instances. To address these limitations, we propose AlignOPT, a novel approach that aligns LLMs with graph neural solvers to learn a more generalizable neural COP heuristic. Specifically, AlignOPT leverages the semantic understanding capabilities of LLMs to encode textual descriptions of COPs and their instances, while concurrently exploiting graph neural solvers to explicitly model the underlying graph structures of COP instances. Our approach facilitates a robust integration and alignment between linguistic semantics and structural representations, enabling more accurate and scalable COP solutions. Experimental results demonstrate that AlignOPT achieves state-of-the-art results across diverse COPs, underscoring its effectiveness in aligning semantic and structural representations. In particular, AlignOPT demonstrates strong generalization, effectively extending to previously unseen COP instances.
- Abstract(参考訳): 近年,大規模言語モデル (LLMs) が自然言語のタスクやインスタンスを表現することで,組合せ最適化問題 (COPs) の解決に有効であることを実証している。
しかし、純粋に言語ベースのアプローチは、多くのCOPに固有の複雑なリレーショナル構造を正確に捉えるのに苦労し、中規模のインスタンスや大規模インスタンスに対処する上で、より効果的ではない。
これらの制限に対処するために、我々は、より一般化可能なニューラルCOPヒューリスティックを学ぶために、LSMとグラフニューラルソルバを整合させる新しいアプローチであるAlignOPTを提案する。
具体的には、AlignOPTはLLMのセマンティック理解機能を活用してCOPとそのインスタンスのテキスト記述を符号化し、同時にグラフニューラルソルバを利用してCOPインスタンスの基盤となるグラフ構造を明示的にモデル化する。
我々のアプローチは、言語意味論と構造表現の堅牢な統合と整合化を促進し、より正確でスケーラブルなCOPソリューションを可能にします。
実験により、AlignOPTは様々なCOPに対して最先端の結果を達成し、意味的表現と構造的表現の整合性を実証した。
特に、AlignOPTは強力な一般化を示し、以前は見えなかったCOPインスタンスに効果的に拡張する。
関連論文リスト
- Bridging Visualization and Optimization: Multimodal Large Language Models on Graph-Structured Combinatorial Optimization [56.17811386955609]
グラフ構造上の課題は、その非線形で複雑な性質のために本質的に困難である。
本研究では,高次構造的特徴を正確に保存するために,グラフを画像に変換する手法を提案する。
マルチモーダルな大規模言語モデルと単純な検索手法を組み合わせた革新的なパラダイムを生かし、新しい効果的なフレームワークを開発することを目指す。
論文 参考訳(メタデータ) (2025-01-21T08:28:10Z) - LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。
キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。
提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
論文 参考訳(メタデータ) (2024-11-07T18:59:16Z) - From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [27.353083085394008]
グラフ表現のためのアンカーベース位置符号化方式を備えた新しいフレームワークNT-LLMを提案する。
提案手法では,アンカーとして参照ノードを戦略的に選択し,各ノードの位置をアンカーに対してエンコードし,既存の手法の計算負担を伴わずに重要なトポロジ情報を取得する。
NT-LLMは、位置符号化事前訓練のためのランク保存目的を実装することにより、基本構造解析から複雑な推論シナリオに至るまで、多種多様なグラフタスクにまたがる優れた性能を実現する。
論文 参考訳(メタデータ) (2024-10-14T17:21:57Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Bridging Large Language Models and Optimization: A Unified Framework for Text-attributed Combinatorial Optimization [21.232626415696267]
Language-based Neural COPsolvr (LNCS)は、多種多様なテキスト対応COPのエンドツーエンド解決のために統一された新しいフレームワークである。
広汎な実験により、LNCSの有効性と一般化性が検証され、現実世界のCOPアプリケーションのための統一的で実用的なフレームワークとしての可能性を強調した。
論文 参考訳(メタデータ) (2024-08-22T08:42:44Z) - Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。
提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。
我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
論文 参考訳(メタデータ) (2024-06-19T16:43:56Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。