論文の概要: Recurrent State Encoders for Efficient Neural Combinatorial Optimization

• arxiv url: http://arxiv.org/abs/2509.05084v1
• Date: Fri, 05 Sep 2025 13:22:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.596522
• Title: Recurrent State Encoders for Efficient Neural Combinatorial Optimization
• Title（参考訳）: ニューラルネットワーク最適化のための逐次状態エンコーダ
• Authors: Tim Dernedde, Daniela Thyssens, Lars Schmidt-Thieme,
• Abstract要約: 再帰エンコーダは,3倍のレイヤ数であっても,非再帰エンコーダよりも同等あるいは優れた性能が得られることを示す。 我々は,トラベリングセールスマン問題 (TSP) ,キャパシタントカールーティング問題 (CVRP) ,オリエンテーリング問題 (OP) の3つの異なる問題に関する知見を実証した。
• 参考スコア（独自算出の注目度）: 7.224324038200208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The primary paradigm in Neural Combinatorial Optimization (NCO) are construction methods, where a neural network is trained to sequentially add one solution component at a time until a complete solution is constructed. We observe that the typical changes to the state between two steps are small, since usually only the node that gets added to the solution is removed from the state. An efficient model should be able to reuse computation done in prior steps. To that end, we propose to train a recurrent encoder that computes the state embeddings not only based on the state but also the embeddings of the step before. We show that the recurrent encoder can achieve equivalent or better performance than a non-recurrent encoder even if it consists of $3\times$ fewer layers, thus significantly improving on latency. We demonstrate our findings on three different problems: the Traveling Salesman Problem (TSP), the Capacitated Vehicle Routing Problem (CVRP), and the Orienteering Problem (OP) and integrate the models into a large neighborhood search algorithm, to showcase the practical relevance of our findings.
• Abstract（参考訳）: Neural Combinatorial Optimization(NCO)の主なパラダイムは、完全なソリューションが構築されるまで、ニューラルネットワークに1つのソリューションコンポーネントを順次追加するように訓練する、構築方法である。 2つのステップ間の状態の典型的な変化は小さく、通常、ソリューションに追加されるノードだけが状態から削除される。 効率的なモデルは、前のステップで行った計算を再利用できるべきです。 そこで本稿では,状態だけでなく,前のステップの埋め込みにもとづいて,状態埋め込みを演算する再帰エンコーダのトレーニングを提案する。 再帰エンコーダは,3/times以下のレイヤ数であっても,非再帰エンコーダよりも同等あるいは優れた性能を達成できることを示し,レイテンシを大幅に改善する。 本稿では, トラベリングセールスマン問題 (TSP) , キャパシタントカールーティング問題 (CVRP) , オリエンテーリング問題 (OP) の3つの異なる問題について考察し, それらのモデルを大規模近傍探索アルゴリズムに統合し, 実際の妥当性を示す。

関連論文リスト

• An Efficient Diffusion-based Non-Autoregressive Solver for Traveling Salesman Problem [21.948190231334088]
  本稿では,トラベリングセールスマン問題に適した効率の良い反復型拡散モデルであるDEITSPを提案する。 本稿では,制御された離散雑音付加プロセスと自己整合性強化を統合した一段階拡散モデルを提案する。 また、ノードとエッジのモダリティから特徴の抽出と融合を促進するために、デュアルモダリティグラフ変換器を設計する。
  論文  参考訳（メタデータ） (2025-01-23T15:47:04Z)
• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
  アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。 これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
  論文  参考訳（メタデータ） (2023-07-17T22:09:12Z)
• Multigrid-Augmented Deep Learning Preconditioners for the Helmholtz Equation using Compact Implicit Layers [7.56372030029358]
  高波動数に対する離散異種ヘルムホルツ方程式を解くためのディープラーニングに基づく反復的手法を提案する。 畳み込みカーネルが反転するU-Netの粗い格子上に暗黙の層を持つマルチレベルU-NetライクなエンコーダCNNを構築する。 我々のアーキテクチャは、様々な難易度の異なる低速モデルの一般化に利用することができ、低速モデルごとに多くの右辺を解くのに効率的である。
  論文  参考訳（メタデータ） (2023-06-30T08:56:51Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。