論文の概要: Bridging Local and Global Knowledge: Cascaded Mixture-of-Experts Learning for Near-Shortest Path Routing
- arxiv url: http://arxiv.org/abs/2603.15541v1
- Date: Mon, 16 Mar 2026 17:06:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 18:28:58.619583
- Title: Bridging Local and Global Knowledge: Cascaded Mixture-of-Experts Learning for Near-Shortest Path Routing
- Title(参考訳): ローカルな知識とグローバルな知識のブリッジ: 近距離経路ルーティングのための実験的混合学習
- Authors: Yung-Fu Chen, Anish Arora,
- Abstract要約: そこで,我々はCascaded Mixture of Experts (Ca-MoE) を訓練し,APNSPルーティング問題を解く。
われわれのCa-MoEはモジュラー2層アーキテクチャであり、フォワーダー選択の意思決定をサポートする。
実験により、Ca-MoEルーティングはスパースネットワークの精度を最大29.1%向上することが示された。
- 参考スコア(独自算出の注目度): 0.4375198630620414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep learning models that leverage local features have demonstrated significant potential for near-optimal routing in dense Euclidean graphs, they struggle to generalize well in sparse networks where topological irregularities require broader structural awareness. To address this limitation, we train a Cascaded Mixture of Experts (Ca-MoE) to solve the all-pairs near-shortest path (APNSP) routing problem. Our Ca-MoE is a modular two-tier architecture that supports the decision-making for forwarder selection with lower-tier experts relying on local features and upper-tier experts relying on global features. It performs adaptive inference wherein the upper-tier experts are triggered only when the lower-tier ones do not suffice to achieve adequate decision quality. Computational efficiency is thus achieved by escalating model capacity only when necessitated by topological complexity, and parameter redundancy is avoided. Furthermore, we incorporate an online meta-learning strategy that facilitates independent expert fine-tuning and utilizes a stability-focused update mechanism to prevent catastrophic forgetting as new graph environments are encountered. Experimental evaluations demonstrate that Ca-MoE routing improves accuracy by up to 29.1% in sparse networks compared to single-expert baselines and maintains performance within 1%-6% of the theoretical upper bound across diverse graph densities.
- Abstract(参考訳): 局所的特徴を利用するディープラーニングモデルは、密集ユークリッドグラフにおける準最適ルーティングの有意な可能性を示しているが、トポロジ的不規則性がより広い構造的認識を必要とするスパースネットワークにおいて、うまく一般化するのに苦労している。
この制限に対処するため、我々はCascaded Mixture of Experts (Ca-MoE) を訓練し、APNSPルーティング問題を解決する。
当社のCa-MoEはモジュール型の2層アーキテクチャで、ローカル機能に依存した下層の専門家とグローバル機能に依存した上位層の専門家とのフォワーダー選択の意思決定をサポートする。
適応推論を行い、下層の専門家が適切な意思決定品質を達成するのに十分でない場合にのみ、上位層の専門家がトリガーされる。
これにより、トポロジ的複雑性によって必要となるモデルキャパシティをエスカレーションすることで計算効率が向上し、パラメータ冗長性を回避することができる。
さらに、独立した専門家の微調整を容易にするオンラインメタ学習戦略を導入し、安定性を重視した更新機構を用いて、新たなグラフ環境の出現に伴う破滅的な忘れ込みを防止する。
実験により、Ca-MoEルーティングはシングルエキスパートベースラインと比較してスパースネットワークの精度を最大29.1%向上し、様々なグラフ密度における理論上界の1%-6%以内の性能を維持することが示された。
関連論文リスト
- A Curriculum-Based Deep Reinforcement Learning Framework for the Electric Vehicle Routing Problem [0.4666493857924357]
EVRPTW(Electric Vehicle routing problem with Time Window)は、持続可能なロジスティクスにおいて複雑な最適化問題である。
この不安定性を解決するために,カリキュラムベースの深層強化学習(CB-DRL)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-21T14:42:33Z) - Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures [2.538209532048867]
エキスパートの混在(MoE)アーキテクチャは、ニューラルネットワークの効率的なスケーリングを可能にするが、専門家の崩壊に苦しむ。
構造的モジュラリティを強制するために、ルーティング多様体に幾何的制約を課すスペクトル規則化エキスパート混合(SR-MoE)を提案する。
論文 参考訳(メタデータ) (2026-01-07T12:59:37Z) - MoE Pathfinder: Trajectory-driven Expert Pruning [19.790092938955336]
本稿では, 各層にまたがるアクティベート専門家の軌道に基づくプルーニング手法を提案する。
提案手法は,既存のほとんどの手法と比較して,ほぼすべてのタスクにおいて優れたプルーニング性能を実現する。
論文 参考訳(メタデータ) (2025-12-20T17:05:08Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳(メタデータ) (2025-11-20T04:11:44Z) - Structure-Aware Automatic Channel Pruning by Searching with Graph Embedding [28.03880549472142]
チャネルプルーニングはディープニューラルネットワークの計算オーバーヘッドを低減するための強力な技術である。
ネットワークトポロジをモデル化し,各チャネルのグローバルな重要性を学習するための,構造対応自動チャネルプルーニング(SACP)フレームワークを提案する。
SACPは圧縮効率と精度保持の競争力において最先端のプルーニング法より優れている。
論文 参考訳(メタデータ) (2025-06-13T05:05:35Z) - Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。
本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。
提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文 参考訳(メタデータ) (2024-06-07T19:10:31Z) - An Efficient Learning-based Solver Comparable to Metaheuristics for the
Capacitated Arc Routing Problem [67.92544792239086]
我々は,高度メタヒューリスティックスとのギャップを著しく狭めるため,NNベースの解法を導入する。
まず,方向対応型注意モデル(DaAM)を提案する。
第2に、教師付き事前学習を伴い、堅牢な初期方針を確立するための教師付き強化学習スキームを設計する。
論文 参考訳(メタデータ) (2024-03-11T02:17:42Z) - Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
ニューラルネットワーク学習におけるMoE層の性能向上について検討する。
この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
論文 参考訳(メタデータ) (2022-08-04T17:59:10Z) - ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and
Gradient Accumulation [106.04777600352743]
微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。
シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。
メモリフレンドリーだが、計算コストも低い。
RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-11-23T06:34:07Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳(メタデータ) (2020-11-04T07:43:01Z) - DessiLBI: Exploring Structural Sparsity of Deep Networks via
Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。
DessiLBIが早期に「優勝チケット」を発表することを示す。
論文 参考訳(メタデータ) (2020-07-04T04:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。