論文の概要: Learning the Travelling Salesperson Problem Requires Rethinking
Generalization
- arxiv url: http://arxiv.org/abs/2006.07054v6
- Date: Wed, 25 May 2022 10:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:39:26.806573
- Title: Learning the Travelling Salesperson Problem Requires Rethinking
Generalization
- Title（参考訳）: トラベリングセールスマンの問題を学ぶには、一般化を再考する必要がある
- Authors: Chaitanya K. Joshi, Quentin Cappart, Louis-Martin Rousseau, Thomas
Laurent
- Abstract要約: トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。
最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。
この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
- 参考スコア（独自算出の注目度）: 9.176056742068813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: End-to-end training of neural network solvers for graph combinatorial
optimization problems such as the Travelling Salesperson Problem (TSP) have
seen a surge of interest recently, but remain intractable and inefficient
beyond graphs with few hundreds of nodes. While state-of-the-art
learning-driven approaches for TSP perform closely to classical solvers when
trained on trivially small sizes, they are unable to generalize the learnt
policy to larger instances at practical scales. This work presents an
end-to-end neural combinatorial optimization pipeline that unifies several
recent papers in order to identify the inductive biases, model architectures
and learning algorithms that promote generalization to instances larger than
those seen in training. Our controlled experiments provide the first principled
investigation into such zero-shot generalization, revealing that extrapolating
beyond training data requires rethinking the neural combinatorial optimization
pipeline, from network layers and learning paradigms to evaluation protocols.
Additionally, we analyze recent advances in deep learning for routing problems
through the lens of our pipeline and provide new directions to stimulate future
research.
- Abstract（参考訳）: トラベリングセールスパーソン問題(TSP)のようなグラフ組合せ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは、最近関心が高まっているが、数百のノードを持つグラフよりも難解で非効率なままである。
tspの最先端の学習駆動アプローチは、ごく小さなサイズでトレーニングされた場合、古典的なソルバと密に連携するが、実用的なスケールでは学習ポリシーをより大きなインスタンスに一般化することはできない。
この研究は、インダクティブバイアス、モデルアーキテクチャ、学習アルゴリズムを識別するために、最近の論文を統一するエンドツーエンドのニューラルネットワーク最適化パイプラインを提示し、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する。
我々の制御された実験は、このようなゼロショットの一般化に関する最初の原則的な調査を提供し、トレーニングデータを超えて外挿するには、ネットワーク層や学習パラダイムから評価プロトコルに至るまで、ニューラルネットワークの組合せ最適化パイプラインを再考する必要があることを明らかにした。
さらに、パイプラインのレンズを通してのルーティング問題に対するディープラーニングの最近の進歩を分析し、将来の研究を刺激するための新しい方向を提供する。
関連論文リスト
- DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
マルチオペレータ学習を実現するためのファインチューニング手法を提案する。
本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
論文 参考訳（メタデータ） (2024-11-11T18:58:46Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Improved architectures and training algorithms for deep operator
networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。
我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文 参考訳（メタデータ） (2021-10-04T18:34:41Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳（メタデータ） (2021-03-01T20:31:50Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。