論文の概要: FORGE: Foundational Optimization Representations from Graph Embeddings

• arxiv url: http://arxiv.org/abs/2508.20330v4
• Date: Wed, 24 Sep 2025 15:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 16:23:42.338045
• Title: FORGE: Foundational Optimization Representations from Graph Embeddings
• Title（参考訳）: FORGE: グラフ埋め込みによる基礎最適化表現
• Authors: Zohair Shafi, Serdar Kadioglu,
• Abstract要約: 既存の学習ベースの手法では、各問題分布に専用のモデルをトレーニングする必要がある。 本稿では,ベクトル量子化グラフオートエンコーダを事前トレーニングするフレームワークであるGraph Embeddingsの基盤最適化表現について紹介する。 両タスクとも,商用最適化解法の性能向上と,最先端の学習手法の性能向上を図る。
• 参考スコア（独自算出の注目度）: 3.9124823111588163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combinatorial optimization problems are ubiquitous in science and engineering. Still, learning-based approaches to accelerate combinatorial optimization often require solving a large number of difficult instances to collect training data, incurring significant computational cost. Existing learning-based methods require training dedicated models for each problem distribution, for each downstream task, severely limiting their scalability and generalization. We introduce Forge: Foundational Optimization Representations from Graph Embeddings, a framework that pre-trains a vector-quantized graph autoencoder on a large, diverse collection of mixed-integer programming (MIP) instances in an unsupervised manner, without relying on optimization solvers or optimal solutions. Vector quantization produces discrete code assignments that serve as a vocabulary for representing optimization instances. We evaluate Forge in both unsupervised and supervised settings. In the unsupervised setting, Forge embeddings effectively cluster unseen instances across problem domains and sizes. In the supervised setting, we fine-tune Forge embeddings and show that a single pre-trained model helps predicting both the integrality gap for cut-generation and variable hints for search guidance across multiple problem and size distributions. In both tasks, we improve the performance of a commercial optimization solver and outperform state-of-the-art learning-based methods. Finally, we open-source our training code, pre-trained Forge weights, and embeddings for multiple MIP distributions to foster further research in representation learning for optimization problems.
• Abstract（参考訳）: 組合せ最適化問題は、科学と工学においてユビキタスである。 それでも、組合せ最適化を加速するための学習ベースのアプローチは、トレーニングデータを集めるのに多くの困難なインスタンスを解決し、かなりの計算コストを発生させる必要がある。 既存の学習ベースの手法では、ダウンストリームのタスクごとに、各問題分布に専用のモデルをトレーニングする必要がある。 グラフ埋め込みによる基礎最適化表現(Foundational Optimization Representations from Graph Embeddings)は、最適化ソルバや最適解に頼ることなく、大規模で多様な混合整数プログラミング(MIP)インスタンスのコレクション上に、ベクトル量子化されたグラフオートエンコーダを事前訓練するフレームワークである。 ベクトル量子化は最適化インスタンスを表す語彙として機能する個別のコード代入を生成する。 我々は、教師なし設定と教師なし設定の両方でForgeを評価した。 教師なしの環境では、Forgeの埋め込みは、問題領域とサイズをまたいで事実上見えないインスタンスをクラスタ化する。 教師付き設定では,1つの事前学習モデルにより,複数問題およびサイズ分布にまたがる探索誘導のためのカットジェネレーションと可変ヒントの整合性ギャップの予測が可能であることを示す。 両タスクとも,商用最適化解法の性能向上と,最先端の学習手法の性能向上を図る。 最後に、最適化問題に対する表現学習のさらなる研究を促進するために、トレーニングコード、事前訓練されたForge重み付け、複数のMIPディストリビューションへの埋め込みをオープンソース化する。

関連論文リスト

• A Distributed Training Architecture For Combinatorial Optimization [0.0]
  最適化のための分散グラフニューラルネットワーク(GNN)に基づくトレーニングフレームワークを提案する。 実大規模ソーシャルネットワークデータセットと合成された高複雑性グラフの両方で実験を行った。 我々のフレームワークは、ソリューションの品質と計算効率の両方において最先端のアプローチより優れています。
  論文  参考訳（メタデータ） (2025-11-12T12:22:10Z)
• Self-Supervised Pre-Training with Equilibrium Constraints [64.15709757611369]
  異種データを扱うための自己教師付き事前学習手法を提案する。 我々は、モデルが各不均一データのソースを局所的最適に最適化することを確実にするために、追加の平衡制約を課す。 マルチドメインと多言語データセットを用いた自己教師付き事前学習実験を行った。
  論文  参考訳（メタデータ） (2025-08-27T15:48:50Z)
• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Model Ensembling for Constrained Optimization [7.4351710906830375]
  下流最適化に使用される多次元出力予測のためのモデルを組み立てたいという設定について検討する。 より正確には、状態空間を多次元実数値予測にマッピングする多くのモデルが与えられていると想像する。 これらの予測は、指定された制約の下で最適化したい線形対象の係数を形成する。 証明可能かつ収束性の高い2つのアルゴリズムに導かれる多重校正手法を適用した。
  論文  参考訳（メタデータ） (2024-05-27T01:48:07Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Learning to Branch in Combinatorial Optimization with Graph Pointer Networks [17.729352126574902]
  本稿では,分岐境界における変数選択ポリシーを学習するためのグラフポインターネットワークモデルを提案する。 グラフニューラルネットワークとポインタ機構を組み合わせたモデルでは,解法状態から分岐変数決定への効果的マッピングが可能である。
  論文  参考訳（メタデータ） (2023-07-04T01:56:07Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Unsupervised Learning for Combinatorial Optimization Needs Meta-Learning [14.86600327306136]
  最適化のための教師なし学習(CO)の一般的なフレームワークは、出力がCOの目的を直接最適化することで問題解決をもたらすニューラルネットワーク(NN)を訓練することである。 本研究では,COにおける教師なし学習の新たな目的について提案する。この学習の目的は,直接的な解決策を与えるのではなく,将来の問題インスタンスの優れた初期化を探すことである。 微調整前のモデルが与える初期解だけでも, 様々な評価条件下では, ベースラインを著しく上回る結果が得られます。
  論文  参考訳（メタデータ） (2023-01-08T22:14:59Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• A Novel Plug-and-Play Approach for Adversarially Robust Generalization [38.72514422694518]
  本稿では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを採用する頑健なフレームワークを提案する。 私たちの貢献は、計算学と統計学の両方の観点から見ることができます。
  論文  参考訳（メタデータ） (2022-08-19T17:02:55Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• A Differentiable Approach to Combinatorial Optimization using Dataless Neural Networks [20.170140039052455]
  我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。 特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
  論文  参考訳（メタデータ） (2022-03-15T19:21:31Z)
• Tutorial on amortized optimization [13.812741777376711]
  このチュートリアルでは、これらの進歩の背後にある償却最適化の基礎について紹介する。 変分推論、スパース符号化、勾配に基づくメタラーニング、制御、強化学習、凸最適化、最適輸送、深い平衡ネットワークにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2022-02-01T18:58:33Z)
• Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
  分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。 本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。 我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
  論文  参考訳（メタデータ） (2021-12-08T09:24:10Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Memory Clustering using Persistent Homology for Multimodality- and Discontinuity-Sensitive Learning of Optimal Control Warm-starts [24.576214898129823]
  シューティング法は非線形最適制御問題の解法として効率的である。 最近の研究は、問題空間のオフライン探索中に生成されたサンプルに基づいてトレーニングされた学習モデルからの最初の推測を提供することに重点を置いている。 本研究では、代数的トポロジーからツールを適用し、解空間の基盤構造に関する情報を抽出する。
  論文  参考訳（メタデータ） (2020-10-02T14:24:59Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。