論文の概要: Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization

• arxiv url: http://arxiv.org/abs/2502.02941v1
• Date: Wed, 05 Feb 2025 07:13:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:03.110413
• Title: Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization
• Title（参考訳）: Fast T2T: 組合せ最適化のための拡散に基づくトレーニングとテストの解決を高速化する最適化
• Authors: Yang Li, Jinpei Guo, Runzhong Wang, Hongyuan Zha, Junchi Yan,
• Abstract要約: 雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。 The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
• 参考スコア（独自算出の注目度）: 83.65278205301576
• License:
• Abstract: Diffusion models have recently advanced Combinatorial Optimization (CO) as a powerful backbone for neural solvers. However, their iterative sampling process requiring denoising across multiple noise levels incurs substantial overhead. We propose to learn direct mappings from different noise levels to the optimal solution for a given instance, facilitating high-quality generation with minimal shots. This is achieved through an optimization consistency training protocol, which, for a given instance, minimizes the difference among samples originating from varying generative trajectories and time steps relative to the optimal solution. The proposed model enables fast single-step solution generation while retaining the option of multi-step sampling to trade for sampling quality, which offers a more effective and efficient alternative backbone for neural solvers. In addition, within the training-to-testing (T2T) framework, to bridge the gap between training on historical instances and solving new instances, we introduce a novel consistency-based gradient search scheme during the test stage, enabling more effective exploration of the solution space learned during training. It is achieved by updating the latent solution probabilities under objective gradient guidance during the alternation of noise injection and denoising steps. We refer to this model as Fast T2T. Extensive experiments on two popular tasks, the Traveling Salesman Problem (TSP) and Maximal Independent Set (MIS), demonstrate the superiority of Fast T2T regarding both solution quality and efficiency, even outperforming LKH given limited time budgets. Notably, Fast T2T with merely one-step generation and one-step gradient search can mostly outperform the SOTA diffusion-based counterparts that require hundreds of steps, while achieving tens of times speedup.
• Abstract（参考訳）: 拡散モデルは、ニューラルソルバの強力なバックボーンとして最近進歩したコンビネーション最適化(CO)を備えている。 しかし、複数のノイズレベルを横断するデノイングを必要とする反復サンプリングプロセスは、かなりのオーバーヘッドを発生させる。 雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは最適化整合性トレーニングプロトコルによって達成され、例えば、最適解に対する様々な生成軌跡と時間ステップから派生したサンプル間の差を最小限に抑える。 提案モデルでは,複数ステップサンプリングの選択肢を維持しつつ,高速な単一ステップソリューション生成が可能であり,より効率的かつ効率的なニューラルネットワークのバックボーンを提供する。 さらに,T2T(T2T)フレームワーク内では,履歴インスタンスのトレーニングと新しいインスタンスの解決のギャップを埋めるため,テスト段階での一貫性に基づく新しい勾配探索手法を導入し,トレーニング中に学習した解空間のより効率的な探索を可能にする。 ノイズ注入とデノナイジングステップの交互化において、客観的勾配誘導の下で潜伏解の確率を更新する。 我々はこのモデルをFast T2Tと呼ぶ。 トラベリングセールスマン問題(TSP)と最大独立セット(MIS)という2つの一般的なタスクに対する大規模な実験は、ソリューションの品質と効率の両面でFast T2Tの優位性を実証している。 特に、Fast T2Tは、単に1ステップ生成と1ステップ勾配探索だけで、数百ステップを要するSOTA拡散ベースの処理よりも、数十倍のスピードアップを達成することができる。

関連論文リスト

• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• DITTO-2: Distilled Diffusion Inference-Time T-Optimization for Music Generation [43.61383132919089]
  制御可能な音楽生成方法は、人間中心のAIベースの音楽生成に不可欠である。 DITTO-2(Distilled Diffusion Inference-Time T-Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:40:11Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• AutoDiffusion: Training-Free Optimization of Time Steps and Architectures for Automated Diffusion Model Acceleration [57.846038404893626]
  本稿では,拡散モデルに対する効率的な画像生成を実現するために,最適な時間ステップシーケンスと圧縮モデルアーキテクチャを統一されたフレームワークで探索することを提案する。 実験結果から,ImageNet 64$times$64の17.86 FIDスコアとDDIMの138.66の4ステップのFIDスコアを用いると,優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-09-19T08:57:24Z)
• Parallel Sampling of Diffusion Models [76.3124029406809]
  拡散モデルは強力な生成モデルであるが、サンプリングが遅い。 そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:42Z)
• Bi-level Off-policy Reinforcement Learning for Volt/VAR Control Involving Continuous and Discrete Devices [2.079959811127612]
  Volt/Varコントロールでは、スロータイムスケールの離散デバイス(STDD)と高速タイムスケールの連続デバイス(FTCD)の両方が関与する。 従来の最適化手法はシステムの正確なモデルに強く依存しているが、モデル化に対する耐え難い努力のために実用的でない場合もある。 本論文では, この問題をモデルフリーで解くために, RL(バイレベル・オフポリシ強化学習)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-13T02:22:43Z)
• Training Aware Sigmoidal Optimizer [2.99368851209995]
  Aware Sigmoidal関数をトレーニングすると、ローカルミニマよりもはるかにサドルロスの風景が表示されます。 本研究では,2相自動学習率スケジュールからなるTASO(Training Aware Sigmoidal Function)を提案する。 提案手法をAdam、RMS、Adagradなどの一般的な適応学習率スケジュールと比較した。
  論文  参考訳（メタデータ） (2021-02-17T12:00:46Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic [5.395127324484869]
  SplitSGDは最適化のための新しい動的学習スケジュールである。 本手法は,対象関数の局所的幾何への適応性を向上するために学習率を低下させる。 基本的には標準のSGDよりも計算コストがかかるわけではない。
  論文  参考訳（メタデータ） (2019-10-18T19:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。