論文の概要: Parallel Thinking, Sequential Answering: Bridging NAR and AR for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2509.20744v1
• Date: Thu, 25 Sep 2025 04:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.697216
• Title: Parallel Thinking, Sequential Answering: Bridging NAR and AR for Efficient Reasoning
• Title（参考訳）: 並列思考と逐次解答:効率的な推論のためのNARとARのブリッジ
• Authors: Qihang Ai, Haiyun Jiang,
• Abstract要約: 我々は,自己回帰(AR)と非自己回帰(NAR)言語モデルを統合するフレームワークを通じて推論タスクを研究する。 テキストを逐次生成するARモデルは、一貫性のある出力を生成するのに優れるが、しばしば遅い推論に悩まされる。 我々は、NARモデルが中間的推論トレースを効率よく生成する新しいパラダイムを導入し、その結果、ARモデルが正確な最終回答を提供するように誘導する。
• 参考スコア（独自算出の注目度）: 14.161616899332993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study reasoning tasks through a framework that integrates auto-regressive (AR) and non-autoregressive (NAR) language models. AR models, which generate text sequentially, excel at producing coherent outputs but often suffer from slow inference, particularly in reasoning-intensive domains such as mathematics and code, where lengthy chains of thought are required. In contrast, NAR models, such as discrete diffusion models, allow parallel generation and offer substantial speedups, though typically at the cost of reduced output quality. To address these limitations, we introduce a new paradigm in which an NAR model efficiently produces intermediate reasoning traces, which subsequently guide an AR model to deliver precise final answers. Experiments demonstrate that our approach yields significant 26% improvements over strong baselines while substantially reducing inference cost.
• Abstract（参考訳）: 我々は,自己回帰(AR)と非自己回帰(NAR)言語モデルを統合するフレームワークを通じて推論タスクを研究する。 テキストを逐次生成するARモデルは、一貫性のある出力を生成するのに優れるが、特に長い思考の連鎖を必要とする数学やコードのような推論集約的な領域では、推論が遅い。 対照的に、離散拡散モデルのようなNARモデルは並列生成を可能にし、出力品質を低下させるコストがかかるが、かなりのスピードアップを提供する。 これらの制約に対処するために、NARモデルが中間的推論トレースを効率よく生成する新しいパラダイムを導入し、その後ARモデルに正確な最終回答を提供するよう誘導する。 実験の結果,提案手法は強いベースラインよりも26%向上し,推論コストを大幅に削減することがわかった。

関連論文リスト

• Don't Overthink It: A Survey of Efficient R1-style Large Reasoning Models [49.598776427454176]
  大規模共振モデル (LRM) は, 複雑なタスクの処理性能に優れていたため, 徐々に研究ホットスポットになりつつある。 しかし、これらのモデルが広く適用されたことにより、過度に考え直すという問題が徐々に顕在化していった。 モデル性能と推論能力を損なうことなく、推論経路の長さを短縮することを目的とした、様々な効率的な推論手法が提案されている。
  論文  参考訳（メタデータ） (2025-08-04T06:54:31Z)
• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• Inference Acceleration of Autoregressive Normalizing Flows by Selective Jacobi Decoding [12.338918067455436]
  正規化フローは、理論的厳密性、分析的対数類似性、エンドツーエンドトレーニングなどの利点を持つ有望な生成モデルである。 近年の進歩は自己回帰モデリングを活用し、表現力と生成品質を大幅に向上させた。 並列反復最適化により自己回帰推論を高速化する選択的ヤコビ復号法(SeJD)を提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:53:15Z)
• Fast Autoregressive Models for Continuous Latent Generation [49.079819389916764]
  自己回帰モデルは、特にNLPにおいて、シーケンシャルなデータ生成において顕著な成功を収めている。 最近の研究で、マスク付き自己回帰モデル(MAR)は拡散ヘッドを用いて連続空間内のトーケン分布をモデル化することによって量子化をバイパスする。 本稿では,MARの拡散ヘッドを軽量ショートカットヘッドに置き換える新しいフレームワークであるFast AutoRegressive Model (FAR)を提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:57:08Z)
• Distilling Autoregressive Models to Obtain High-Performance Non-Autoregressive Solvers for Vehicle Routing Problems with Faster Inference Speed [8.184624214651283]
  本稿では,低推論遅延を有する高性能NARモデルを得るための汎用的非自己回帰的知識蒸留法(GNARKD)を提案する。 我々は、GNARKDを広く採用されている3つのARモデルに適用して、合成および実世界の両方のインスタンスに対して、NAR VRPソルバを得る。
  論文  参考訳（メタデータ） (2023-12-19T07:13:32Z)
• Non-Autoregressive Machine Translation: It's Not as Fast as it Seems [84.47091735503979]
  NARモデルに関する文献にみられる評価手法の欠陥を指摘する。 我々はNARモデルと他の広く使われている効率向上手法を比較した。 我々は,今後の作業において,より現実的で広範なNARモデルの評価を求める。
  論文  参考訳（メタデータ） (2022-05-04T09:30:17Z)
• A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation [59.64193903397301]
  非自己回帰モデル (NAR) はシーケンス内の複数の出力を同時に生成し、自動回帰ベースラインと比較して精度低下のコストで推論速度を著しく低減する。 エンドツーエンド自動音声認識(ASR)のための様々なNARモデリング手法の比較研究を行う。 各種課題の成果は, 精度・速度トレードオフや長文発話に対する頑健性など, NAR ASR の理解を深める上で興味深い結果をもたらす。
  論文  参考訳（メタデータ） (2021-10-11T13:05:06Z)
• TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
  非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。 この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。 以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-04-04T02:34:55Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。