論文の概要: Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2510.09544v1
• Date: Fri, 10 Oct 2025 16:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:49.405676
• Title: Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models
• Title（参考訳）: サーフェス推論を超えて:拡散大言語モデルの真に長い鎖を持つ能力を明らかにする
• Authors: Qiguang Chen, Hanjing Li, Libo Qin, Dengyun Peng, Jinhao Liu, Jiangyi Wang, Chengyue Wu, Xie Chen, Yantao Du, Wanxiang Che,
• Abstract要約: 同時トークン更新を可能にする並列デコード。厳格な推論にしばしば必要とされる因果順序と競合する。 単純な推論タスクと複雑な推論タスクの両方において、DLLMは直接決定可能な出力に対してのみ真の並列性を示すことを示す。 そこで本研究では,PSCによる非効率性と非効率性を低減するために,いくつかの実用的な緩和,並列指向プロンプト,拡散早期停止,並列スケーリングを提案する。
• 参考スコア（独自算出の注目度）: 54.81955614221652
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, Diffusion Large Language Models (DLLMs) have offered high throughput and effective sequential reasoning, making them a competitive alternative to autoregressive LLMs (ALLMs). However, parallel decoding, which enables simultaneous token updates, conflicts with the causal order often required for rigorous reasoning. We first identify this conflict as the core Parallel-Sequential Contradiction (PSC). Behavioral analyses in both simple and complex reasoning tasks show that DLLMs exhibit genuine parallelism only for directly decidable outputs. As task difficulty increases, they revert to autoregressive-like behavior, a limitation exacerbated by autoregressive prompting, which nearly doubles the number of decoding steps with remasking without improving quality. Moreover, PSC restricts DLLMs' self-reflection, reasoning depth, and exploratory breadth. To further characterize PSC, we introduce three scaling dimensions for DLLMs: parallel, diffusion, and sequential. Empirically, while parallel scaling yields consistent improvements, diffusion and sequential scaling are constrained by PSC. Based on these findings, we propose several practical mitigations, parallel-oriented prompting, diffusion early stopping, and parallel scaling, to reduce PSC-induced ineffectiveness and inefficiencies.
• Abstract（参考訳）: 近年、Diffusion Large Language Models (DLLM) は高いスループットと効果的なシーケンシャル推論を提供しており、自己回帰型 LLM (ALLM) に代わる競合的な選択肢となっている。 しかし、同時トークン更新を可能にする並列復号法は、厳密な推論に必要な因果順序と矛盾することが多い。 我々はまず、この対立をParallel-Sequential Contradiction (PSC) の中核として認識する。 単純な推論タスクと複雑な推論タスクの両方における振る舞い解析により、DLLMは直接決定可能な出力に対してのみ真の並列性を示すことを示す。 タスクの難しさが増すにつれて、彼らは自己回帰的行動に戻るが、これは自己回帰的プロンプトによって悪化する制限であり、品質を向上することなくデコードステップの数をほぼ2倍にしている。 さらに、PLCはDLLMの自己反射、推論深度、探索幅を制限する。 PSCを更に特徴付けるために,並列,拡散,シーケンシャルという,DLLMのスケーリング次元を3つ導入する。 実験的に、並列スケーリングは一貫した改善をもたらすが、拡散とシーケンシャルスケーリングはPSCによって制限される。 これらの知見に基づいて,PSCによる非効率性や非効率性を低減するために,並列指向のプロンプト,拡散早期停止,並列スケーリングなどの実用的緩和法を提案する。

関連論文リスト

• ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs [31.387806058620683]
  拡散LDMは、並列復号による推論を劇的に加速する可能性への関心が高まっている。 既存の作業は、これらの固有の課題を概ね見落としており、標準ベンチマークによる評価は、並列復号による品質劣化を捉えるのに十分ではない。 そこで我々は,DLLMに特化して設計された最初のベンチマークであるParallelBenchを提案する。 我々の発見は、現在のスピード品質のトレードオフを克服できる革新的な復号法の必要性を強調している。
  論文  参考訳（メタデータ） (2025-10-06T12:41:31Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models [8.407364705777587]
  拡散大言語モデル(DLLM)は自己回帰予測を超えた言語モデリングの新しいパラダイムとして登場した。 Free Draft-and-Verification (Freedave) はDLLMに適した新しい高速サンプリングアルゴリズムである。
  論文  参考訳（メタデータ） (2025-09-30T21:28:04Z)
• ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs [34.477777651648914]
  大規模言語モデル(LLM)は、自動回帰デコードパラダイムのため、推論遅延の大きな問題を生じさせる。 本稿では、並列化可能なデータの自動構築と効率的な並列化機構の2つの課題に対処する適応シリアル-パラレルデコーディング(ASPD)を提案する。 我々のフレームワークは、効率的なLCM並列推論のための基盤となるベンチマークを設定し、AIによるカスタマーサービスボットや回答検索エンジンのようなレイテンシに敏感なアプリケーションへのデプロイの道を開く。
  論文  参考訳（メタデータ） (2025-08-12T12:35:55Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。