論文の概要: Geometric Self-Supervised Pre-training for Neural Combinatorial Optimization

• arxiv url: http://arxiv.org/abs/2608.00270v1
• Date: Fri, 31 Jul 2026 20:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 15:13:46.709281
• Title: Geometric Self-Supervised Pre-training for Neural Combinatorial Optimization
• Title（参考訳）: ニューラルネットワーク最適化のための幾何学的自己監督型事前学習
• Abstract要約: ルーティンググラフのための幾何学的自己教師付き事前学習フレームワークを提案する。 このフレームワークは、ポリシー最適化フェーズの前に堅牢な構造表現を学習する。 提案したモデルでは計算効率が優れており、正確な解法であるConcordeよりも最大2桁のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 40.74618635552097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Combinatorial Optimization (NCO) techniques have emerged as a highly efficient alternative to traditional exact algorithms for solving routing problems such as the Traveling Salesman Problem (TSP). However, the generalization capabilities of these Reinforcement Learning-based models are severely hindered when scaling to high-dimensional instances. This issue has been mitigated in other domains, like computer vision and natural language processing, by adopting a self-supervised pre-training strategy. Nevertheless, its application to routing graphs, which lack complex topological attributes beyond 2D spatial coordinates, remains a challenge. In this paper, we propose a geometric self-supervised pre-training framework specifically designed to capture spatial invariance and global relative distance distributions. By applying isometric transformations, such as rotations and axial reflections, the model learns robust structural representations prior to the policy optimization phase. Empirical results demonstrate that this strategy consistently outperforms models trained from scratch (baselines), achieving a 7.23\% improvement in tour length for massive zero-shot extrapolation scenarios (TSP1,000). Furthermore, the proposed model exhibits remarkable computational efficiency, delivering speedups of up to two orders of magnitude over the exact solver Concorde at massive scales. The source code and pre-trained models are publicly available at https://github.com/davidaguadocosano/TSP-GeoPretrain.git.
• Abstract（参考訳）: Neural Combinatorial Optimization (NCO) 技術は、トラベリングセールスマン問題(TSP)のようなルーティング問題を解決するために、従来の正確なアルゴリズムの代わりとして、非常に効率的な方法として登場した。 しかし、これらの強化学習に基づくモデルの一般化能力は、高次元インスタンスへのスケーリングにおいて著しく妨げられている。 この問題は、コンピュータビジョンや自然言語処理といった他の領域では、自己監督型事前学習戦略を採用することで緩和されている。 しかし、2次元空間座標以外の複雑な位相特性を持たないグラフのルーティングへの応用は依然として課題である。 本稿では,空間的不変性および大域的相対距離分布の把握を目的とした,幾何学的自己教師型事前学習フレームワークを提案する。 回転や軸反射のような等尺変換を適用することで、モデルは政策最適化フェーズの前に頑健な構造表現を学習する。 実証的な結果は、この戦略がスクラッチ(ベースライン)から訓練されたモデルよりも一貫して優れており、大規模なゼロショット外挿シナリオ(TSP1,000)のツアー長が7.23\%向上していることを示している。 さらに,提案モデルでは計算効率が著しく向上し,高精度な解法であるConcordeに対して最大2桁の高速化を実現している。 ソースコードと事前トレーニングされたモデルはhttps://github.com/davidaguadocosano/TSP-GeoPretrain.gitで公開されている。

関連論文リスト

• On the Effectiveness of Pretraining for Graph Combinatorial Optimization [40.74618635552097]
  本稿では,グラフ最適化のための自己教師付き事前学習フレームワークを提案する。 トラベリングセールスマン問題のような経路問題の性質に対処するように設計されている。 その結果, この事前学習戦略は, 様々な問題尺度において非事前学習モデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-07-21T13:04:13Z)
• An Efficient and Effective Architecture for Large-Scale Traffic Prediction via Geometry-Adaptive Square Partitioning [21.25554012711633]
  Square Partition(スクエア・パーティション)は、巨大な交通センサーをバランスの取れた空間領域に分割する幾何学アルゴリズムである。 HLIはTransformerベースのデプロイ、時間的モデルで一般的に使用されるコストのかかる注意機構を放棄するモジュールである。
  論文  参考訳（メタデータ） (2026-06-19T03:41:12Z)
• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• Dimer-Enhanced Optimization: A First-Order Approach to Escaping Saddle Points in Neural Network Training [5.9408311406202285]
  ダイマー法(英: Dimer method)は、ポテンシャルエネルギー表面の局所幾何学を探索する2つの密接な空間を持つ点を構成する一階法である。 分子動力学シミュレーションによるサドル点の位置推定に着想を得て, ダイマー最適化を提案する。 DEOは、サドルポイントやフラットリージョンから離れて、ステップ外の更新でトレーニング効率を向上させる。
  論文  参考訳（メタデータ） (2025-07-26T14:57:32Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• An Adaptive and Scalable ANN-based Model-Order-Reduction Method for Large-Scale TO Designs [22.35243726859667]
  トポロジ最適化(TO)は、興味のある最適な性能で構造設計を得るための体系的なアプローチを提供する。 ディープラーニングベースのモデルは、プロセスの高速化のために開発されている。 MapNetは、粗いスケールから細かいスケールまでの関心領域をマッピングするニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-03-20T10:12:24Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。