論文の概要: XSpecMesh: Quality-Preserving Auto-Regressive Mesh Generation Acceleration via Multi-Head Speculative Decoding

• arxiv url: http://arxiv.org/abs/2507.23777v1
• Date: Thu, 31 Jul 2025 17:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:10.222874
• Title: XSpecMesh: Quality-Preserving Auto-Regressive Mesh Generation Acceleration via Multi-Head Speculative Decoding
• Title（参考訳）: XSpecMesh:マルチヘッド投機デコードによる品質保存型自動回帰メッシュ生成高速化
• Authors: Dian Chen, Yansong Qu, Xinyang Li, Ming Li, Shengchuan Zhang,
• Abstract要約: XSpecMeshは自動回帰メッシュ生成モデルの品質保存高速化手法である。 本手法は生成品質を犠牲にすることなく1.7倍の高速化を実現する。
• 参考スコア（独自算出の注目度）: 11.414780323191733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current auto-regressive models can generate high-quality, topologically precise meshes; however, they necessitate thousands-or even tens of thousands-of next-token predictions during inference, resulting in substantial latency. We introduce XSpecMesh, a quality-preserving acceleration method for auto-regressive mesh generation models. XSpecMesh employs a lightweight, multi-head speculative decoding scheme to predict multiple tokens in parallel within a single forward pass, thereby accelerating inference. We further propose a verification and resampling strategy: the backbone model verifies each predicted token and resamples any tokens that do not meet the quality criteria. In addition, we propose a distillation strategy that trains the lightweight decoding heads by distilling from the backbone model, encouraging their prediction distributions to align and improving the success rate of speculative predictions. Extensive experiments demonstrate that our method achieves a 1.7x speedup without sacrificing generation quality. Our code will be released.
• Abstract（参考訳）: 現在の自己回帰モデルは、高品質でトポロジカルに正確なメッシュを生成することができるが、推論中に数千、あるいは数万の次の予測を必要とするため、かなりのレイテンシが生じる。 本稿では,自動回帰メッシュ生成モデルのための品質保存高速化手法であるXSpecMeshを紹介する。 XSpecMeshは、軽量でマルチヘッドの投機的復号法を用いて、1つのフォワードパス内で複数のトークンを並列に予測し、推論を加速する。 バックボーンモデルは予測されたトークンを検証し、品質基準を満たしないトークンを再サンプリングする。 さらに,背骨モデルからの蒸留により軽量な復号ヘッドを訓練し,予測分布を調整し,投機的予測の成功率を向上させる蒸留戦略を提案する。 大規模実験により, 生成品質を犠牲にすることなく1.7倍の高速化を実現した。 私たちのコードは解放されます。

関連論文リスト

• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• Efficient Generative Modeling with Residual Vector Quantization-Based Tokens [5.949779668853557]
  ResGenは、高速サンプリングによる高忠実度生成のための効率的な残留ベクトル量子化に基づく生成モデルである。 我々は,ImageNet 256x256における条件付き画像生成とゼロショット音声合成の2つの課題に対して,提案手法の有効性と一般化性を検証する。 RVQの深さを拡大するにつれて、我々の生成モデルは、同様の大きさのベースラインモデルと比較して、より優れた生成忠実度またはより高速なサンプリング速度を示す。
  論文  参考訳（メタデータ） (2024-12-13T15:31:17Z)
• Accelerating Auto-regressive Text-to-Image Generation with Training-free Speculative Jacobi Decoding [60.188309982690335]
  本稿では,SJD (Speculative Jacobi Decoding) の学習自由確率並列復号法を提案する。 SJDは、サンプリングベースのトークン復号におけるランダム性を維持しつつ、自動回帰テキスト・画像生成の推論を加速する。 具体的には、SJDは各ステップで複数のトークンを予測し、確率的基準に基づいてトークンを受け付けます。
  論文  参考訳（メタデータ） (2024-10-02T16:05:27Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。