論文の概要: Behavior and Representation in Large Language Models for Combinatorial Optimization: From Feature Extraction to Algorithm Selection

• arxiv url: http://arxiv.org/abs/2512.13374v1
• Date: Mon, 15 Dec 2025 14:28:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.697548
• Title: Behavior and Representation in Large Language Models for Combinatorial Optimization: From Feature Extraction to Algorithm Selection
• Title（参考訳）: 組合せ最適化のための大規模言語モデルの振る舞いと表現:特徴抽出からアルゴリズム選択へ
• Authors: Francesca Da Ros, Luca Di Gaspero, Kevin Roitero,
• Abstract要約: 大規模言語モデル(LLM)は、最適化における自動化の新しい視点を開いた。 本研究では,LLMが内部的に最適化問題を表現する方法と,そのような表現が下流決定タスクをサポートするかどうかを検討する。
• 参考スコア（独自算出の注目度）: 2.6285579209051284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have opened new perspectives for automation in optimization. While several studies have explored how LLMs can generate or solve optimization models, far less is understood about what these models actually learn regarding problem structure or algorithmic behavior. This study investigates how LLMs internally represent combinatorial optimization problems and whether such representations can support downstream decision tasks. We adopt a twofold methodology combining direct querying, which assesses LLM capacity to explicitly extract instance features, with probing analyses that examine whether such information is implicitly encoded within their hidden layers. The probing framework is further extended to a per-instance algorithm selection task, evaluating whether LLM-derived representations can predict the best-performing solver. Experiments span four benchmark problems and three instance representations. Results show that LLMs exhibit moderate ability to recover feature information from problem instances, either through direct querying or probing. Notably, the predictive power of LLM hidden-layer representations proves comparable to that achieved through traditional feature extraction, suggesting that LLMs capture meaningful structural information relevant to optimization performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、最適化における自動化の新しい視点を開放した。 LLMが最適化モデルの生成や解法についていくつかの研究がなされているが、これらのモデルが問題構造やアルゴリズムの振る舞いについて実際に何を学べるかについては、はるかに理解されていない。 本研究では,LLMが組み合わさった最適化問題を内部的にどのように表現し,その表現が下流決定タスクをサポートするかを検討する。 我々は,LLMのキャパシティを明示的に抽出するための直接クエリと,その情報を隠蔽層内に暗黙的にエンコードされているかどうかを探索する2つの手法を採用する。 さらに、探索フレームワークをインスタンスごとのアルゴリズム選択タスクに拡張し、LLM由来の表現が最適な解法を予測できるかどうかを評価する。 実験は4つのベンチマーク問題と3つのインスタンス表現にまたがる。 その結果, LLMは, 直接クエリや探索によって, 問題インスタンスから特徴情報を復元する適度な能力を示すことがわかった。 特に、LLMの隠れ層表現の予測力は、従来の特徴抽出によって達成されたものと同等であることが証明され、LLMが最適化性能に関連する有意義な構造情報を取得することが示唆された。

関連論文リスト

• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• OR-LLM-Agent: Automating Modeling and Solving of Operations Research Optimization Problems with Reasoning LLM [15.260794368585692]
  自動オペレーションリサーチ問題解決のためのLLMを推論するAIエージェントフレームワークであるOR-LLM-Agentを提案する。 GPT-o3, Gemini 2.5 Pro, DeepSeek-R1, ORLMなどの高度な手法よりも, OR-LLM-Agentの精度を7%以上向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-13T03:40:50Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
  本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。 提案する枠組みは頭痛を緩和する試みとして機能する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Information Extraction [14.982446379660633]
  大規模言語モデル(LLM)に関する既存の研究は、多段階計画により情報抽出タスクを解くことができることを示している。 複雑な抽出タスクを分解して段階的に抽出することで,LLMの性能を効果的に向上させることができる。 本稿では,LLMに基づく情報抽出のための2段階多段階手法を提案し,多段階計画を実行するためにRLフレームワークを採用する。
  論文  参考訳（メタデータ） (2024-06-17T12:11:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。