論文の概要: Leveraging Large Language Models for Solving Rare MIP Challenges

• arxiv url: http://arxiv.org/abs/2409.04464v2
• Date: Wed, 18 Sep 2024 07:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 22:22:45.925293
• Title: Leveraging Large Language Models for Solving Rare MIP Challenges
• Title（参考訳）: 希少なMIP課題解決のための大規模言語モデルの活用
• Authors: Teng Wang, Wing-Yin Yu, Ruifeng She, Wenhan Yang, Taijie Chen, Jianping Zhang,
• Abstract要約: 混合プログラミング(MIP)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されてきた。 大規模言語モデル(LLM)のようなエンドツーエンドモデルのモデル構築コストは、そのパターン認識能力によって問題スケールの影響を受けていない。
• 参考スコア（独自算出の注目度）: 35.38992171089948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed Integer Programming (MIP) has been extensively applied in areas requiring mathematical solvers to address complex instances within tight time constraints. However, as the problem scale increases, the complexity of model formulation and finding feasible solutions escalates significantly. In contrast, the model-building cost for end-to-end models, such as large language models (LLMs), remains largely unaffected by problem scale due to their pattern recognition capabilities. While LLMs, like GPT-4, without fine-tuning, can handle some traditional medium-scale MIP problems, they struggle with uncommon or highly specialized MIP scenarios. Fine-tuning LLMs can yield some feasible solutions for medium-scale MIP instances, but these models typically fail to explore diverse solutions when constrained by a low and constant temperature, limiting their performance. In this paper, we propose and evaluate a recursively dynamic temperature method integrated with a chain-of-thought approach. Our findings show that starting with a high temperature and gradually lowering it leads to better feasible solutions compared to other dynamic temperature strategies. Additionally, by comparing results generated by the LLM with those from Gurobi, we demonstrate that the LLM can produce solutions that complement traditional solvers by accelerating the pruning process and improving overall efficiency.
• Abstract（参考訳）: MIP(Mixed Integer Programming)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されている。 しかし、問題スケールが大きくなるにつれて、モデル定式化と実現可能な解の発見の複雑さは著しく増大する。 対照的に、大規模言語モデル(LLM)のようなエンド・ツー・エンドモデルのモデル構築コストは、パターン認識能力による問題スケールの影響をほとんど受けていない。 GPT-4のようなLPMは、微調整なしで、従来の中規模のMIP問題に対処できるが、通常ではない、あるいは高度に専門化されたMIPシナリオに苦しむ。 微調整LDMは中規模のMIPインスタンスに対して実現可能な解が得られるが、これらのモデルは通常、低温で一定の温度で制約された場合、様々な解を探索できず、性能が制限される。 本稿では,チェーン・オブ・シント・アプローチと統合された再帰的動的温度法を提案し,評価する。 以上の結果から,高温から徐々に低下すると,他の動的温度戦略と比較して,実現可能な解が得られることが示唆された。 また, LLM と Gurobi の結果を比較することにより, LLM が従来の解法を補完する解を生成できることを示した。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Rational Tuning of LLM Cascades via Probabilistic Modeling [0.9208007322096532]
  大規模言語モデル(LLM)の連立性能分布の確率的モデルを提案する。 グリッドサーチを用いた信頼性閾値の選択と比較して,提案手法はカスケードの長さとコストエラー曲線の所望の解像度に関して,実行時のスケーリングを大幅に改善する。
  論文  参考訳（メタデータ） (2025-01-16T07:58:33Z)
• Fast and Interpretable Mixed-Integer Linear Program Solving by Learning Model Reduction [24.3088703166792]
  本稿では,MILPの縮小モデルと等価モデルを中間段階として学習することを目的とする。 縮小モデルはしばしば解釈可能な操作に対応しており、既存の商用解法よりもはるかに高速に大規模MILP問題を解くことができる。 本稿では,モデル縮小学習タスクの性能向上に寄与する嗜好情報を捕捉し,表現するための注意機構を提案する。
  論文  参考訳（メタデータ） (2024-12-31T06:50:42Z)
• Enhancing the Reasoning Capabilities of Small Language Models via Solution Guidance Fine-Tuning [14.857842644246634]
  本稿では,SG(Solution Guidance)およびSGFT(Solution-Guidance Fine-Tuning)について紹介する。 SGは、特定の計算ではなく、意味的および論理的なレベルでの問題理解と分解に焦点を当てている。 SGFTは、SLMを微調整して正確な問題解決ガイダンスを生成することができ、任意のSLMにプロンプトとして柔軟に供給することができる。
  論文  参考訳（メタデータ） (2024-12-13T06:45:26Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
  本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。 SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。 高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-28T00:09:07Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。