論文の概要: NADIR: Differential Attention Flow for Non-Autoregressive Transliteration in Indic Languages

• arxiv url: http://arxiv.org/abs/2601.12389v1
• Date: Sun, 18 Jan 2026 12:56:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.608215
• Title: NADIR: Differential Attention Flow for Non-Autoregressive Transliteration in Indic Languages
• Title（参考訳）: NADIR:非自己回帰翻訳のための言語言語における差分注意フロー
• Authors: Lakshya Tomar, Vinayak Abrol, Puneet Agarwal,
• Abstract要約: 非自己回帰(NAR)モデルは速度を提供するが、幻覚や長さの制御に悩まされる。 スピードと精度のバランスをとるために設計された新しいNARアーキテクチャであるNADIRを紹介する。 NADIRは最先端のARベースラインに比べて13倍以上のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 9.235227742885725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we argue that not all sequence-to-sequence tasks require the strong inductive biases of autoregressive (AR) models. Tasks like multilingual transliteration, code refactoring, grammatical correction or text normalization often rely on local dependencies where the full modeling capacity of AR models can be overkill, creating a trade-off between their high accuracy and high inference latency. While non-autoregressive (NAR) models offer speed, they typically suffer from hallucinations and poor length control. To explore this trade-off, we focus on the multilingual transliteration task in Indic languages and introduce NADIR, a novel NAR architecture designed to strike a balance between speed and accuracy. NADIR integrates a Differential Transformer and a Mixture-of-Experts mechanism, enabling it to robustly model complex character mappings without sequential dependencies. NADIR achieves over a 13x speed-up compared to the state-of-the-art AR baseline. It maintains a competitive mean Character Error Rate of 15.78%, compared to 14.44% for the AR model and 21.88% for a standard NAR equivalent. Importantly, NADIR reduces Repetition errors by 49.53%, Substitution errors by 24.45%, Omission errors by 32.92%, and Insertion errors by 16.87%. This work provides a practical blueprint for building fast and reliable NAR systems, effectively bridging the gap between AR accuracy and the demands of real-time, large-scale deployment.
• Abstract（参考訳）: この研究において、全てのシーケンス・ツー・シーケンスのタスクは自己回帰(AR)モデルの強い帰納バイアスを必要とするわけではないと論じる。 多言語翻訳、コードリファクタリング、文法的修正、テキスト正規化といったタスクは、しばしば、ARモデルの完全なモデリング能力が過大評価されるようなローカル依存に依存し、高い精度と高い推論レイテンシのトレードオフを生み出します。 非自己回帰(NAR)モデルは速度を提供するが、幻覚と長さの制御に苦しむのが普通である。 このトレードオフを探るため、Indic言語における多言語文字化タスクに着目し、スピードと精度のバランスをとるために設計された新しいNARアーキテクチャであるNADIRを導入する。 NADIRはdifferial TransformerとMixture-of-Expertsメカニズムを統合し、シーケンシャルな依存関係なしに複雑な文字マッピングを堅牢にモデル化することができる。 NADIRは最先端のARベースラインに比べて13倍以上のスピードアップを実現している。 平均的な文字誤り率は15.78%であり、ARモデルでは14.44%、標準のNARでは21.88%である。 NADIRは繰り返しエラーを49.53%減らし、置換エラーを24.45%減らし、オミッションエラーを32.92%減らし、挿入エラーを16.87%減らした。 この作業は、高速で信頼性の高いNARシステムを構築するための実用的な青写真を提供する。

関連論文リスト

• TiDAR: Think in Diffusion, Talk in Autoregression [59.94106070312094]
  TiDARは、Diffusionでトークン(Thinking)をドラフトし、最終的な出力(Talking)をAutoRegressivelyにサンプリングするシーケンスレベルのハイブリッドアーキテクチャである。 TiDARはARモデルと品質ギャップを埋める最初のアーキテクチャであり、毎秒4.71倍から5.91倍のトークンを提供する。
  論文  参考訳（メタデータ） (2025-11-12T02:59:33Z)
• Semi-Autoregressive Streaming ASR With Label Context [70.76222767090638]
  本稿では,先行ブロックで出力されたラベルを付加コンテキストとして組み込んだストリーミング「半自己回帰型」ASRモデルを提案する。 実験の結果,既存のストリーミングNARモデルではTedlium2が19%,Librispeech-100が16%/8%,Switchboard(SWB)/Callhome(CH)テストセットが19%/8%であった。
  論文  参考訳（メタデータ） (2023-09-19T20:55:58Z)
• PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction [0.9502148118198473]
  単語誤り率(WER)を低減する新しい非自己回帰的(NAR)アプローチであるPATCorrectを提案する。 PATCorrectは、様々な上流ASRシステムにおいて、英語コーパスにおける最先端のNAR法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-10T04:05:24Z)
• Helping the Weak Makes You Strong: Simple Multi-Task Learning Improves Non-Autoregressive Translators [35.939982651768666]
  NARモデルの確率フレームワークは、ターゲットシーケンスに対する条件付き独立性仮定を必要とする。 本稿では,より情報的な学習信号を提供するための,シンプルでモデルに依存しないマルチタスク学習フレームワークを提案する。 我々の手法は、追加のデコードオーバーヘッドを追加することなく、複数のNARベースラインの精度を一貫して改善することができる。
  論文  参考訳（メタデータ） (2022-11-11T09:10:14Z)
• Non-Autoregressive Machine Translation: It's Not as Fast as it Seems [84.47091735503979]
  NARモデルに関する文献にみられる評価手法の欠陥を指摘する。 我々はNARモデルと他の広く使われている効率向上手法を比較した。 我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。
  論文  参考訳（メタデータ） (2022-05-04T09:30:17Z)
• A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation [59.64193903397301]
  非自己回帰モデル (NAR) はシーケンス内の複数の出力を同時に生成し、自動回帰ベースラインと比較して精度低下のコストで推論速度を著しく低減する。 エンドツーエンド自動音声認識(ASR)のための様々なNARモデリング手法の比較研究を行う。 各種課題の成果は, 精度・速度トレードオフや長文発話に対する頑健性など, NAR ASR の理解を深める上で興味深い結果をもたらす。
  論文  参考訳（メタデータ） (2021-10-11T13:05:06Z)
• A Study of Non-autoregressive Model for Sequence Generation [147.89525760170923]
  非自己回帰(NAR)モデルは、シーケンスのすべてのトークンを並列に生成する。 本稿では,ARモデルとNARモデルのギャップを埋めるために,知識蒸留とソースターゲットアライメントを提案する。
  論文  参考訳（メタデータ） (2020-04-22T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。