論文の概要: Improving Generalization of Neural Vehicle Routing Problem Solvers Through the Lens of Model Architecture

• arxiv url: http://arxiv.org/abs/2406.06652v2
• Date: Mon, 17 Jun 2024 14:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 02:00:43.562351
• Title: Improving Generalization of Neural Vehicle Routing Problem Solvers Through the Lens of Model Architecture
• Title（参考訳）: モデルアーキテクチャのレンズによるニューラルビークルルーティング問題解法の一般化
• Authors: Yubin Xiao, Di Wang, Xuan Wu, Yuesong Wu, Boyang Li, Wei Du, Liupu Wang, You Zhou,
• Abstract要約: 本稿では,ESF(Scaling Factor)とDS(Distributed-Specific)デコーダを提案する。 ESFは、様々な大きさのVRPを解く際に、トレーニング中に発見された慣れ親しんだものに対して、モデルの注意重みパターンを調整する。 DSデコーダは、複数の補助光デコーダを通して複数のトレーニング分布パターンのVRPを明示的にモデル化し、モデル表現空間を拡大する。
• 参考スコア（独自算出の注目度）: 9.244633039170186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models produce promising results when solving Vehicle Routing Problems (VRPs), but often fall short in generalization. Recent attempts to enhance model generalization often incur unnecessarily large training cost or cannot be directly applied to other models solving different VRP variants. To address these issues, we take a novel perspective on model architecture in this study. Specifically, we propose a plug-and-play Entropy-based Scaling Factor (ESF) and a Distribution-Specific (DS) decoder to enhance the size and distribution generalization, respectively. ESF adjusts the attention weight pattern of the model towards familiar ones discovered during training when solving VRPs of varying sizes. The DS decoder explicitly models VRPs of multiple training distribution patterns through multiple auxiliary light decoders, expanding the model representation space to encompass a broader range of distributional scenarios. We conduct extensive experiments on both synthetic and widely recognized real-world benchmarking datasets and compare the performance with seven baseline models. The results demonstrate the effectiveness of using ESF and DS decoder to obtain a more generalizable model and showcase their applicability to solve different VRP variants, i.e., travelling salesman problem and capacitated VRP. Notably, our proposed generic components require minimal computational resources, and can be effortlessly integrated into conventional generalization strategies to further elevate model generalization.
• Abstract（参考訳）: ニューラルモデルは、車両ルーティング問題(VRP)を解決する際に有望な結果をもたらすが、一般化においてしばしば不足する。 モデル一般化の最近の試みは、必要以上に大規模なトレーニングコストを発生させるか、あるいは異なるVRPのバリエーションを解決する他のモデルに直接適用できない場合が多い。 これらの課題に対処するため,本研究では,モデルアーキテクチャの新たな視点について考察する。 具体的には,Scaling Factor (ESF) とDistributment-Specific (DS) デコーダをそれぞれ提案し,サイズと分布の一般化を促進させる。 ESFは、様々な大きさのVRPを解く際に、トレーニング中に発見された慣れ親しんだものに対して、モデルの注意重みパターンを調整する。 DSデコーダは、複数の補助光デコーダを通して複数のトレーニング分布パターンのVRPを明示的にモデル化し、より広範な分散シナリオを含むモデル表現空間を拡張する。 我々は,合成および広く認識されている実世界のベンチマークデータセットについて広範な実験を行い,その性能を7つのベースラインモデルと比較した。 その結果、ESFとDSデコーダを用いてより一般化可能なモデルを得ることができ、様々なVRP、すなわち旅行セールスマン問題と静電容量化VRPを解くための適用性を示すことができた。 特に,提案する汎用コンポーネントは最小限の計算資源を必要とするため,モデル一般化をさらに高めるため,従来の一般化戦略に精力的に組み込むことができる。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Multi-Task Learning for Routing Problem with Cross-Problem Zero-Shot Generalization [18.298695520665348]
  車両ルーティング問題(VRP)は多くの現実世界のアプリケーションで見られる。 本研究では,クロスプロブレム一般化という重要な課題に取り組むための最初の試みを行う。 提案モデルでは、ゼロショットの一般化方式で、見当たらない属性の組み合わせでVRPを解くことができる。
  論文  参考訳（メタデータ） (2024-02-23T13:25:23Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Attention, Filling in The Gaps for Generalization in Routing Problems [5.210197476419621]
  本稿では,既存のモデルの理解と改善を通じて,分野の統合を促進することを目的とする。 我々はまず,Sparse Dynamic Attention のための Kool et al. 法とその損失関数を適用することで,モデルの相違を第一に狙う。 次に、特定のシナリオにおける単一インスタンストレーニングよりも優れたパフォーマンスを示す混合インスタンストレーニングメソッドを使用することで、固有の違いをターゲットとします。
  論文  参考訳（メタデータ） (2022-07-14T21:36:51Z)
• Bottlenecks CLUB: Unifying Information-Theoretic Trade-offs Among Complexity, Leakage, and Utility [8.782250973555026]
  ボトルネック問題(英: Bottleneck problem)は、機械学習と情報理論の分野において近年注目を集めている最適化問題の重要なクラスである。 本稿では,複雑性推論ユーティリティ・ボトルネック(CLUB)モデルと呼ばれる最適化問題の一般的なファミリーを提案する。 CLUBモデルは、他の情報理論プライバシモデルと同様に、これらの問題を一般化する。
  論文  参考訳（メタデータ） (2022-07-11T14:07:48Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Learning to Solve Routing Problems via Distributionally Robust Optimization [14.506553345693536]
  ルーティング問題を解決するための最近のディープモデルでは、トレーニング用のノードの単一分布が想定されており、分散一般化能力を著しく損なう。 この問題に対処するために、群分布的ロバストな最適化(グループDRO)を活用し、異なる分布群に対する重み付けと深層モデルのパラメータを、トレーニング中にインターリーブされた方法で共同で最適化する。 また、畳み込みニューラルネットワークに基づくモジュールを設計し、ディープモデルがノード間のより情報に富んだ潜在パターンを学習できるようにする。
  論文  参考訳（メタデータ） (2022-02-15T08:06:44Z)
• On the Significance of Question Encoder Sequence Model in the Out-of-Distribution Performance in Visual Question Answering [15.787663289343948]
  経験を超えて一般化することは、実践的なAIシステムを開発する上で重要な役割を果たす。 現在のVisual Question Answering (VQA)モデルは、言語プライヤに依存し過ぎている。 本稿では,質問エンコーダで使用されるシーケンスモデルアーキテクチャが,VQAモデルの一般化に重要な役割を果たすことを示す。
  論文  参考訳（メタデータ） (2021-08-28T05:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。