論文の概要: Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation

• arxiv url: http://arxiv.org/abs/2610.03326v1
• Date: Fri, 02 Oct 2026 14:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.408376
• Title: Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation
• Title（参考訳）: 軌道対応低ランク近似による圧縮拡散言語モデルにおける数学的推論の保存
• Abstract要約: 拡散言語モデル(dLLM)圧縮は、キャリブレーションは通常クリーンで完全に見えるアクティベーションで実行されるため、既知の課題に直面している。 モンテカルロサンプリングにより軌道2次モーメントを推定するTraj-MCを提案する。 提案手法は,dLLM圧縮後に保持される推論能力とトラジェクトリを意識した低ランク最適性とを結びつけた。
• 参考スコア（独自算出の注目度）: 10.720890975040371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language model (dLLM) compression faces a known challenge because calibration is typically performed on clean, fully visible activations, whereas inference traverses partially masked intermediate states. For low-rank compression, this raises two questions. First, can low-rank optimality still be characterized when approximation quality is measured over trajectory-distributed states, and second, does the choice of calibration states affect mathematical reasoning preservation under compression? We address these questions by formulating a trajectory-aware low-rank objective over corruption levels and masking realizations. To estimate this objective efficiently, we propose Traj-MC, which estimates the trajectory second moment through Monte Carlo sampling and yields exact sampled-state optimality and population consistency. Under matched compression budgets, trajectory-aware calibration improves reconstruction over the generation trajectory and preserves substantially more mathematical reasoning than clean calibration on mathematical reasoning benchmarks. Our results connect trajectory-aware low-rank optimality to the reasoning capability retained after dLLM compression. Our code is available at: https://github.com/Zishan-Shao/traj-mc.git.
• Abstract（参考訳）: 拡散言語モデル(dLLM)圧縮は、キャリブレーションが一般的にクリーンで完全に見えるアクティベーションで実行されるのに対して、推論トラバースは部分的に中間状態を隠蔽しているため、既知の課題に直面している。 低ランク圧縮では、2つの疑問が提起される。 第一に、軌道分散状態上での近似品質の測定において、低ランク最適性は依然として特徴付けられるか、第二に、キャリブレーション状態の選択は、圧縮下での数学的推論保存に影響を及ぼすか? これらの問題に対して,汚職レベルに対するトラジェクティブを意識した低ランク目標の定式化とマスキングの実現によって対処する。 この目的を効率的に推定するために,モンテカルロサンプリングによる軌道2次モーメントを推定し,正確なサンプル状態の最適性と集団の整合性を得るTraj-MCを提案する。 一致した圧縮予算の下では、軌跡認識キャリブレーションは生成軌跡の再構成を改善し、数学的推論ベンチマークのクリーンキャリブレーションよりもはるかに数学的推論を保存する。 提案手法は,dLLM圧縮後に保持される推論能力とトラジェクトリを意識した低ランク最適性とを結びつけた。 私たちのコードは、https://github.com/Zishan-Shao/traj-mc.git.comで利用可能です。

関連論文リスト

• Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
  我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。 我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。 我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
  論文  参考訳（メタデータ） (2026-10-01T20:35:12Z)
• Model Merging by Output-Space Projection [6.752805486904705]
  モデルマージは、微調整されたチェックポイントを再トレーニングせずに単一のマルチタスクモデルに結合する。 残余更新よりも凸プログラムとしてマージを定式化できることが示される。 逐次的なレイヤワイドアルゴリズムにより,マルチレイヤマージに拡張し,言語およびビジョンベンチマーク間で一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-05-27T21:01:29Z)
• Metropolis-Adjusted Diffusion Models [39.6979566317926]
  スコアベース拡散モデルからのサンプリングは、時間離散化とスコア関数の近似によるバイアスを引き起こす。 拡散モデルにおけるLangevin補正の正確な補正法を, 2つの係数のBernoulliファクトリアルゴリズムに基づいて提案する。
  論文  参考訳（メタデータ） (2026-05-10T16:57:51Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Low-Rank Compression of Language Models via Differentiable Rank Selection [22.99526059495007]
  本研究では,勾配に基づく学習手法であるLearning to Low-Rank Compress (LLRC)を提案する。 提案手法は, 圧縮後微調整を必要とせず, 様々な圧縮速度で, 共通センス推論やオープンドメイン質問応答タスクにおいて, 競合するランク付け手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-14T07:20:57Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。