論文の概要: LLMs for Cold-Start Cutting Plane Separator Configuration

• arxiv url: http://arxiv.org/abs/2412.12038v1
• Date: Mon, 16 Dec 2024 18:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:55:48.910516
• Title: LLMs for Cold-Start Cutting Plane Separator Configuration
• Title（参考訳）: 冷延切削面分離器構成用LCM
• Authors: Connor Lawless, Yingxi Li, Anders Wikum, Madeleine Udell, Ellen Vitercik,
• Abstract要約: 混合整数線形プログラミングソルバは、専門家の最適化ユーザ以外のすべてのユーザの優先順位を選択するのが難しい、膨大な数のパラメータを伴って出荷される。 既存の機械学習アプローチでソルバを設定するには、数千の関連するMILPインスタンスを解決し、新しい問題サイズに最適化し、複雑なMLパイプラインとカスタムソルバインターフェースを実装する必要がある。 そこで本稿では, 対象MILP問題に使用する切削平面分離器を, インスタンスの特性に基づいて, ほとんど, あるいは全くトレーニングデータなしで構成する LLM ベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.931643536607737
• License:
• Abstract: Mixed integer linear programming (MILP) solvers ship with a staggering number of parameters that are challenging to select a priori for all but expert optimization users, but can have an outsized impact on the performance of the MILP solver. Existing machine learning (ML) approaches to configure solvers require training ML models by solving thousands of related MILP instances, generalize poorly to new problem sizes, and often require implementing complex ML pipelines and custom solver interfaces that can be difficult to integrate into existing optimization workflows. In this paper, we introduce a new LLM-based framework to configure which cutting plane separators to use for a given MILP problem with little to no training data based on characteristics of the instance, such as a natural language description of the problem and the associated LaTeX formulation. We augment these LLMs with descriptions of cutting plane separators available in a given solver, grounded by summarizing the existing research literature on separators. While individual solver configurations have a large variance in performance, we present a novel ensembling strategy that clusters and aggregates configurations to create a small portfolio of high-performing configurations. Our LLM-based methodology requires no custom solver interface, can find a high-performing configuration by solving only a small number of MILPs, and can generate the configuration with simple API calls that run in under a second. Numerical results show our approach is competitive with existing configuration approaches on a suite of classic combinatorial optimization problems and real-world datasets with only a fraction of the training data and computation time.
• Abstract（参考訳）: 混合整数線形計画法 (MILP) は、専門家の最適化ユーザを除く全てのユーザの優先順位を選択するのが困難なパラメータのスタッガー数とともに出荷されるが、MILPソルバの性能に大きな影響を与える可能性がある。 既存の機械学習(ML)アプローチでソルバを構成するには、数千の関連するMILPインスタンスを解決し、新しい問題サイズに最適化し、しばしば既存の最適化ワークフローに組み込むのが難しい複雑なMLパイプラインとカスタムソルバインターフェースを実装する必要がある。 本稿では,与えられたMILP問題に使用する切削平面分離器を,自然言語記述やLaTeXの定式化など,インスタンスの特性に基づくトレーニングデータはほとんど,あるいはまったく使用しない構成を行うLLMベースの新しいフレームワークを提案する。 我々は,既存の分離器の研究文献を要約して,与えられた解法で利用可能な切断面分離器の記述を付加して,これらのLCMを増強する。 個々のソルバ構成は性能に大きなばらつきがあるが、我々は構成をクラスタ化して集約し、パフォーマンスの高い構成の小さなポートフォリオを作成する新しいアンサンブル戦略を提案する。 LLMをベースとした手法では、カスタムなソルバインタフェースを必要とせず、少数のMILPを解くことで高パフォーマンスな構成を見つけることができ、単純なAPI呼び出しで1秒以内で構成を生成することができる。 計算結果から,従来の組合せ最適化問題や実世界のデータセットに対して,トレーニングデータと計算時間のほんの一握りで既存の構成手法と競合することを示す。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Towards An Unsupervised Learning Scheme for Efficiently Solving Parameterized Mixed-Integer Programs [6.1860817947800655]
  教師なし学習方式でバイナリ変数の自動エンコーダを訓練する。 オフライン学習AEのデコーダパラメータから平面制約を切断するクラスを構築する戦略を提案する。 原始的なMIP問題への統合は、実現可能な領域を縮小したMIPの強化につながる。
  論文  参考訳（メタデータ） (2024-12-23T14:48:32Z)
• PickLLM: Context-Aware RL-Assisted Large Language Model Routing [0.5325390073522079]
  PickLLMは、RL(Reinforcement Learning)を使用してオンザフライクエリを利用可能なモデルにルーティングする軽量フレームワークである。 学習速度の違いに対する収束の速度と,クエリ毎のコストや全体の応答遅延といったハードメトリクスの改善を実証する。
  論文  参考訳（メタデータ） (2024-12-12T06:27:12Z)
• Magneto: Combining Small and Large Language Models for Schema Matching [8.387623375871055]
  小型言語モデル (SLM) は訓練データと大規模言語モデル (LLM) を必要とする。 我々は、スキーママッチングのための費用効率が高く正確なソリューションであるMagnetoを提案する。
  論文  参考訳（メタデータ） (2024-12-11T08:35:56Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• PySCIPOpt-ML: Embedding Trained Machine Learning Models into Mixed-Integer Programs [0.7661676407098753]
  機械学習予測器を最適化問題に組み込むオープンソースツールであるPySCIPOpt-MLを紹介した。 PySCIPOpt-MLは、広く使われているMLフレームワークとオープンソースのMIPソルバと対話することによって、ML制約を最適化問題に簡単に統合する方法を提供する。 本稿では,SurrogateLIB上での計算結果について述べる。
  論文  参考訳（メタデータ） (2023-12-13T11:36:55Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。