論文の概要: Leveraging Large Language Models for Solving Rare MIP Challenges

• arxiv url: http://arxiv.org/abs/2409.04464v1
• Date: Tue, 3 Sep 2024 07:25:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 22:45:53.535622
• Title: Leveraging Large Language Models for Solving Rare MIP Challenges
• Title（参考訳）: 希少なMIP課題解決のための大規模言語モデルの活用
• Authors: Teng Wang, Wing-Yin Yu, Ruifeng She, Wenhan Yang, Taijie Chen, Jianping Zhang,
• Abstract要約: 混合プログラミング(MIP)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されてきた。 大規模言語モデル(LLM)のようなエンドツーエンドモデルのモデル構築コストは、そのパターン認識能力によって問題スケールの影響を受けていない。
• 参考スコア（独自算出の注目度）: 35.38992171089948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed Integer Programming (MIP) has been extensively applied in areas requiring mathematical solvers to address complex instances within tight time constraints. However, as the problem scale increases, the complexity of model formulation and finding feasible solutions escalates significantly. In contrast, the model-building cost for end-to-end models, such as large language models (LLMs), remains largely unaffected by problem scale due to their pattern recognition capabilities. While LLMs, like GPT-4, without fine-tuning, can handle some traditional medium-scale MIP problems, they struggle with uncommon or highly specialized MIP scenarios. Fine-tuning LLMs can yield some feasible solutions for medium-scale MIP instances, but these models typically fail to explore diverse solutions when constrained by a low and constant temperature, limiting their performance. In this paper, we propose and evaluate a recursively dynamic temperature method integrated with a chain-of-thought approach. Our findings show that starting with a high temperature and gradually lowering it leads to better feasible solutions compared to other dynamic temperature strategies. Additionally, by comparing results generated by the LLM with those from Gurobi, we demonstrate that the LLM can produce solutions that complement traditional solvers by accelerating the pruning process and improving overall efficiency.
• Abstract（参考訳）: MIP(Mixed Integer Programming)は、数学的な解法が厳密な時間制約の中で複雑なインスタンスに対処する必要がある領域で広く適用されている。 しかし、問題スケールが大きくなるにつれて、モデル定式化と実現可能な解の発見の複雑さは著しく増大する。 対照的に、大規模言語モデル(LLM)のようなエンド・ツー・エンドモデルのモデル構築コストは、パターン認識能力による問題スケールの影響をほとんど受けていない。 GPT-4のようなLPMは、微調整なしで、従来の中規模のMIP問題に対処できるが、通常ではない、あるいは高度に専門化されたMIPシナリオに苦しむ。 微調整LDMは中規模のMIPインスタンスに対して実現可能な解が得られるが、これらのモデルは通常、低温で一定の温度で制約された場合、様々な解を探索できず、性能が制限される。 本稿では,チェーン・オブ・シント・アプローチと統合された再帰的動的温度法を提案し,評価する。 以上の結果から,高温から徐々に低下すると,他の動的温度戦略と比較して,実現可能な解が得られることが示唆された。 また, LLM と Gurobi の結果を比較することにより, LLM が従来の解法を補完する解を生成できることを示した。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
  本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。 SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。 高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-28T00:09:07Z)
• Deep learning enhanced mixed integer optimization: Learning to reduce model dimensionality [0.0]
  この研究は、Mixed-Integer Programmingに固有の計算複雑性に対処するフレームワークを導入する。 ディープラーニングを利用することで、MIPインスタンス間の共通構造を特定し、活用する問題固有モデルを構築する。 本稿では,モデルの堅牢性と一般化性を高める合成データを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T19:15:13Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Optimization and Optimizers for Adversarial Robustness [10.279287131070157]
  本稿では,汎用的制約最適化解法と制約Foldingを融合した新しいフレームワークを提案する。 信頼性に関して、PWCFは、ソリューションの品質を評価するための定常度測定と実現可能性テストのソリューションを提供する。 さらに、損失、摂動モデル、最適化アルゴリズムの様々な組み合わせを用いて、これらの問題を解決するための解の異なるパターンについて検討する。
  論文  参考訳（メタデータ） (2023-03-23T16:22:59Z)
• Minimizing Entropy to Discover Good Solutions to Recurrent Mixed Integer Programs [0.0]
  混合整数プログラミング(MIP)問題に対する現在の解法は、幅広い問題に対して良好に動作するように設計されている。 近年の研究では、機械学習(ML)をMIPソルバと統合してドメイン知識を注入し、最適性ギャップを効率的に閉じることが示されている。 本稿では、エントロピーの概念を用いて、最小限のトレーニングデータとチューニングで効率的にモデルを構築するオンラインソルバを提案する。
  論文  参考訳（メタデータ） (2022-02-07T18:52:56Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。