論文の概要: EDWARD-NMT: Elastic Dimensions With Adaptive Routing and Dual-consistency for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2610.32115v1
- Date: Fri, 23 Oct 2026 03:33:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.335657
- Title: EDWARD-NMT: Elastic Dimensions With Adaptive Routing and Dual-consistency for Neural Machine Translation
- Title（参考訳）: EDWARD-NMT:ニューラルマシン翻訳のための適応ルーティングとデュアル一貫性を持つ弾性次元
- Abstract要約: 列車用に設計された新しいMoEエンコーダデコーダアーキテクチャであるEDWARD-NMTを紹介する。
アーキテクチャは、推論時にデプロイ可能なサブネットワークのファミリーを公開する。
PhoMT (En-Vi), WMT-14 (En-De), multilingual OPUS-16, multi-domain De-Enベンチマークによる評価を行った。
- 参考スコア（独自算出の注目度）: 4.208697177487849
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Mixture-of-Experts (MoE) is a powerful paradigm for scaling Neural Machine Translation (NMT) and managing language heterogeneity. However, practical limitations hinder its deployment on resource-constrained devices: the entire expert pool must remain in memory, and the per-token compute budget is statically fixed during training by rigid top-k routing. We introduce EDWARD-NMT (Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT), a novel MoE encoder-decoder architecture designed for a train once, deploy anywhere paradigm that exposes a family of deployable sub-networks at inference time. EDWARD-NMT integrates three key innovations: (i) Matryoshka-style elastic dimensions to flexibly reduce the memory footprint; (ii) an adaptive sigmoid router with a learned, task-conditioned threshold, allowing each token to dynamically determine its active expert count; and (iii) a dual-consistency objective to maximize the performance of the extracted sub-networks. Extensive experiments on PhoMT (En-Vi), WMT-14 (En-De), multilingual OPUS-16, and a multi-domain De-En benchmark validate our approach. The full-capacity architecture matches or exceeds strong MoE baselines with improved parameter efficiency. Furthermore, the sub-networks seamlessly extracted from a single checkpoint consistently outperform comparably sized dense Transformers without any retraining.
- Abstract（参考訳）: Sparse Mixture-of-Experts (MoE)は、ニューラルネットワーク翻訳(NMT)をスケールし、言語の不均一性を管理するための強力なパラダイムである。
しかし、実際の制限により、リソース制約のあるデバイスへのデプロイが妨げられる。エキスパートプール全体がメモリに残されなければならないし、トケイン当たりの計算予算は、厳格なトップkルーティングによるトレーニング中に静的に固定される。
EDWARD-NMT(Elastic Dimensions With Adaptive Routing and Dual-Consistency for NMT)は,列車用に設計された新しいMoEエンコーダデコーダアーキテクチャである。
EDWARD-NMTは3つの重要なイノベーションを統合している。
一 メモリフットプリントを柔軟に減少させるマトリリシカ式弾性寸法
(ii) 学習されたタスク条件付きしきい値を持つ適応シグモイドルータで、各トークンがアクティブな専門家数を動的に決定できるようにする。
三 抽出したサブネットワークの性能を最大化するための二重整合目標
PhoMT(En-Vi)、WMT-14(En-De)、多言語OPUS-16、およびマルチドメインDe-Enベンチマークの大規模な実験により、我々のアプローチが検証された。
フル容量アーキテクチャは、パラメータ効率を向上して、強力なMoEベースラインに適合または超える。
さらに、単一のチェックポイントからシームレスに抽出されたサブネットワークは、リトレーニングなしで、コンパライズ可能な大きさの高密度トランスフォーマーより一貫して優れる。
関連論文リスト
- Stepped MoE: Segment-Level Routing with Configurable Inference Complexity [12.437778624898838]
柔軟性のある構造と疎結合なアーキテクチャを組み合わせた統一的なフレームワークを導入し、デプロイ制約とタスク要求の両方に同時に適応するモデルを作成します。
提案手法では,コンテキストと目標の効率仕様の両方を規定したモデルバックボーンを用いて,推定時間における精度-効率トレードオフのきめ細かい制御を可能にする。
論文 参考訳（メタデータ） (2026-10-05T20:18:26Z) - Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する
ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。
Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
論文 参考訳（メタデータ） (2026-04-10T02:58:46Z) - AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。
計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。
AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
論文 参考訳（メタデータ） (2026-03-12T12:46:42Z) - DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks [0.0]
Mixture-of-Experts (MoE)アーキテクチャは、計算効率を維持しながらニューラルネットワークをスケールするための強力なパラダイムとして登場した。
本稿では,動的トークンレベルのエキスパートアクティベーションと層幅適応キャパシティアロケーションによって制約を緩和する新しいMoEフレームワークであるDynaMoEを紹介する。
論文 参考訳（メタデータ） (2026-03-02T10:25:56Z) - IMSE: Efficient U-Net-based Speech Enhancement using Inception Depthwise Convolution and Amplitude-Aware Linear Attention [2.3959703715401903]
本稿では,系統的に最適化された超軽量ネットワークIMSEを提案する。
1) MET モジュールを Amplitude-Aware Linear Attention (MALA) に、2) Deformable Embedding (DE) モジュールを Inception Depthwise Convolution (IDConv) に置き換える。
実験では、IMSEはパラメータ数を16.8%(0.513Mから0.427M)削減し、PESQ測定値(3.373)の最先端技術に匹敵する競争性能を達成する。
論文 参考訳（メタデータ） (2025-11-18T14:11:54Z) - TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts [4.5558042369389105]
TT-LoRA MoEはトレーニングを2つの異なる最適化段階に分解する。
まず、軽量かつテンソル化低ランクアダプタ(TT-LoRAエキスパート)を個別に訓練する。
その後、これらの専門家アダプタは凍結状態のままであり、マルチタスク設定でタスク間干渉を排除し、忘れる。
個別に訓練されたスパースMOEルータは、ベースモデル表現を動的に活用し、推論時に入力ごとに正確に1つの特別なアダプタを選択する。
総合的な実験により、我々のアーキテクチャは低ランクアダプタのメモリ効率を保ち、大きなエキスパートプールにシームレスにスケールし、堅牢なタスクレベルの最適化を実現する。
論文 参考訳（メタデータ） (2025-04-29T21:46:43Z) - TransXNet: Learning Both Global and Local Dynamics with a Dual Dynamic Token Mixer for Visual Recognition [63.93802691275012]
グローバル・ローカル・ダイナミクスを同時に学習するための軽量なデュアル・ダイナミック・トケン・ミキサー(D-Mixer)を提案する。
我々は、新しいハイブリッドCNN-TransformerビジョンバックボーンネットワークであるTransXNetを設計するために、基本的なビルディングブロックとしてD-Mixerを使用している。
ImageNet-1K分類では、TransXNet-TはSwin-Tを0.3%上回り、計算コストの半分以下である。
論文 参考訳（メタデータ） (2023-10-30T09:35:56Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture
with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。
MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。
Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
論文 参考訳（メタデータ） (2023-05-30T02:24:03Z) - MIA-Former: Efficient and Robust Vision Transformers via Multi-grained
Input-Adaptation [14.866949449862226]
Vision Transformer (ViT) モデルは、現実のリソース制約されたデバイスに組み込むには計算コストがかかりすぎる。
入力適応型視覚変換フレームワークMIA-Formerを提案する。
提案するMIA-Formerフレームワークは,入力画像の難易度に適応した予算を効果的に配分できることを確認した。
論文 参考訳（メタデータ） (2021-12-21T22:06:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。