論文の概要: Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.31198v1
• Date: Thu, 22 Oct 2026 12:45:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.377407
• Title: Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
• Title（参考訳）: 異なるタスク,異なる時間ステップ:拡散言語モデルのための時間的タスク認識量子化
• Abstract要約: 拡散言語モデル (DLMs) は、その反復的復調過程により、ユニークな量子化の課題を提起する。 我々は、量子化感度がタスクと時間依存の両方であり、下流の異なるタスクは、各ステップで異なる精度の要求を示すことを示した。 本稿では、ラベルなし感度信号を用いてアクティベーション精度を最適に割り当てるタスクおよびタイムアウェアな混合精度量子化フレームワークであるT2Quantを紹介する。
• 参考スコア（独自算出の注目度）: 5.093144724934585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Language Models (DLMs) introduce unique quantization challenges due to their iterative denoising process. In this work, we reveal that quantization sensitivity is both taskand time-dependent, with different downstream tasks exhibiting distinct precision requirements across denoising steps. We further show that these patterns can be predicted without groundtruth labels or task-specific evaluation metrics. Building on these findings, we introduce T 2Quant, a task and time-aware mixedprecision quantization framework that uses a label-free sensitivity signal to optimally allocate activation precision across denoising steps under a fixed bit-width budget. Extensive experiments across three DLMs and six benchmarks demonstrate that T 2Quant consistently improves the average accuracy of existing quantization methods, achieving gains of up to 6.7 percentage points under the same budget.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は、その反復的復調過程により、ユニークな量子化の課題を提起する。 本研究では、量子化感度がタスク依存と時間依存の両方であり、異なる下流タスクが各ステップで異なる精度の要求を示すことを示した。 さらに、これらのパターンは、基礎的なラベルやタスク固有の評価指標を使わずに予測できることを示す。 これらの結果に基づいて、固定ビット幅の予算の下で、ラベルのない感度信号を用いて、復調ステップ間でのアクティベーション精度を最適に割り当てるタスクおよびタイムアウェアな混合精度量子化フレームワークであるT 2Quantを導入する。 3つのDLMと6つのベンチマークにわたる大規模な実験により、T 2Quantは既存の量子化法の平均精度を一貫して改善し、同じ予算の下で最大6.7ポイントのゲインを得ることを示した。

関連論文リスト

• OTARo: Once Tuning for All Precisions toward Robust On-Device LLMs [21.55040910903597]
  OTARoはデバイス上の大規模言語モデルで量子化精度を柔軟に切り替えることができる新しい手法である。 すべての精度で一貫して強固で堅牢なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-17T08:56:27Z)
• You Had One Job: Per-Task Quantization Using LLMs' Hidden Representations [7.404908118728373]
  本稿では,タスクサレント信号を量子化のガイドラインとして符号化する隠れ表現を提案する。 本稿では,タスク条件付き統計量を用いてビット幅を割り当てるタスク・アウェア・量子化(TAQ)と,直接層感度テストに基づいて精度を割り当てるTAQOの2つの新しいタスク・アウェア・PTQ手法を比較した。 TAQはPhi-4、TAQOはLlama-3.1、Qwen3、Qwen2.5である。
  論文  参考訳（メタデータ） (2025-11-09T19:58:24Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
  拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。 現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。 時間的整合性を利用する2つの相補的手法を導入する。
  論文  参考訳（メタデータ） (2025-08-12T17:59:57Z)
• Fast T2T: Optimization Consistency Speeds Up Diffusion-Based Training-to-Testing Solving for Combinatorial Optimization [83.65278205301576]
  雑音レベルから与えられたインスタンスの最適解への直接写像を学習し、最小限のショットで高品質な生成を容易にすることを提案する。 これは、サンプル間の差を最小限に抑える最適化一貫性トレーニングプロトコルによって達成される。 The Traveling Salesman Problem (TSP) と Maximal Independent Set (MIS) は、ソリューションの品質と効率の両方に関して、Fast T2Tの優位性を実証している。
  論文  参考訳（メタデータ） (2025-02-05T07:13:43Z)
• DiffusionMTL: Learning Multi-Task Denoising Diffusion Model from Partially Annotated Data [16.501973201535442]
  我々は,部分ラベル付きマルチタスクの高密度予測を画素レベルの分解問題として再検討する。 本稿では,DiffusionMTLと呼ばれる新しいマルチタスク・デノナイズ・フレームワークを提案する。 タスク予測や特徴写像の潜在的なノイズ分布をモデル化するために、共用拡散・雑音化パラダイムを設計する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:58Z)
• DiffImpute: Tabular Data Imputation With Denoising Diffusion Probabilistic Model [9.908561639396273]
  DiffImputeという新しい拡散確率モデル(DDPM)を提案する。 既存のデータの信頼性を損なうことなく、欠落したエントリに対して信頼できる警告を生成する。 Missing Completely At Random (MCAR) と Missing At Random (MAR) の様々な設定に適用できる。
  論文  参考訳（メタデータ） (2024-03-20T08:45:31Z)
• Environmental sound analysis with mixup based multitask learning and cross-task fusion [0.12891210250935145]
  音響シーン分類と音響イベント分類は 密接に関連している2つの課題です 本書では,上記の課題に対して二段階法を提案する。 提案手法は,音響シーンと音響イベント分類の相補的特徴を確認した。
  論文  参考訳（メタデータ） (2021-03-30T05:11:53Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。