論文の概要: TRIMS: Trajectory-Ranked Instruction Masked Supervision for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.00666v1
• Date: Wed, 01 Apr 2026 09:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.917103
• Title: TRIMS: Trajectory-Ranked Instruction Masked Supervision for Diffusion Language Models
• Title（参考訳）: TRIMS: 拡散言語モデルのための軌道依存型インストラクション・マズード・スーパービジョン
• Abstract要約: 拡散言語モデル(DLM)は、並列復号化による低レイテンシ生成への有望な道を提供する。 本稿では,単純な軌道誘導型微調整フレームワークであるTrajectory-Ranked Instruction Masked Supervision (TRIMS)を提案する。
• 参考スコア（独自算出の注目度）: 46.490931189790956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) offer a promising path toward low-latency generation through parallel decoding, but their practical efficiency depends heavily on the decoding trajectory. In practice, this advantage often fails to fully materialize because standard training does not provide explicit supervision over token reveal order, creating a train-inference mismatch that leads to suboptimal decoding behavior. We propose Trajectory-Ranked Instruction Masked Supervision (TRIMS), a simple trajectory-guided supervised fine-tuning framework that injects trajectory supervision into standard Masked Diffusion Language Model (MDLM) training with minimal overhead. Instead of relying on costly DLM-based distillation, TRIMS uses lightweight signals from an autoregressive teacher to guide a trajectory-aware masking strategy, encouraging the model to learn more effective decoding orders. Experiments on LLaDA and Dream across math and coding benchmarks show that TRIMS significantly improves the accuracy-parallelism trade-off over both standard MDLM training and train-free acceleration baselines, while achieving competitive performance with prior distillation-based approaches at substantially lower training cost. Further analysis shows that TRIMS leads to better decoding trajectories, validating the effectiveness of trajectory-guided supervision for DLMs.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は並列デコードによる低レイテンシ生成への有望な経路を提供するが、その実用的効率はデコード軌道に大きく依存する。 実際には、標準的なトレーニングではトークンの公開順序に対する明確な監督が提供されないため、この利点は完全な実現に失敗することが多い。 本稿では,標準的なMasked Diffusion Language Model (MDLM) トレーニングに最小限のオーバーヘッドで軌道監督を注入する,単純な軌道誘導型微調整フレームワークである Trajectory-Ranked Instruction Masked Supervision (TRIMS) を提案する。 TRIMSは、高価なDLMベースの蒸留に頼る代わりに、自己回帰的な教師からの軽量信号を使用して、軌道対応マスキング戦略をガイドし、より効果的な復号命令を学習するようモデルに促している。 LLaDAとDreamを数学とコーディングのベンチマークで比較したところ、TRIMSは標準MDLMトレーニングと無列車加速ベースラインの双方に対して精度・並列性トレードオフを著しく改善する一方で、事前蒸留ベースのアプローチとの競争性能をかなり低いトレーニングコストで達成している。 さらなる分析により、TRIMSはより優れたデコードトラジェクトリをもたらし、DLMに対するトラジェクトリ誘導監視の有効性を検証した。

関連論文リスト

• Revisiting Complete Reasoning Traces for Post-Training [61.76889440384448]
  大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 フルトラジェクトリは限られた利益しか得られないが, 部分トラジェクトリは重いトラジェクトリの下でも有効である。
  論文  参考訳（メタデータ） (2026-09-07T06:46:17Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Open-Ended Instruction Realization with LLM-Enabled Multi-Planner Scheduling in Autonomous Vehicles [40.195332742819865]
  本研究では,大規模言語モデル(LLM)を利用して命令を解釈する命令実現フレームワークを提案する。 リアルタイムフィードバックに基づいて、複数のモデル予測制御(MPC)ベースのモーションプランナをスケジュールする実行可能なスクリプトを生成し、計画されたトラジェクトリを制御信号に変換する。
  論文  参考訳（メタデータ） (2026-04-09T09:32:21Z)
• T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization [45.026481622387244]
  拡散大言語モデル(DLLM)は、複数のトークンを並列に復号することで高速なテキスト生成を可能にする可能性がある。 本稿では, モデル自体の生成軌道を蒸留することにより, 数ステップのデコードを改善するトラジェクトリ自己蒸留フレームワークを提案する。 当社のアプローチは、厳格なステップ予算の下で、強力な数ステップのベースラインと標準トレーニングを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-02-12T18:52:35Z)
• TIDE: Temporal Incremental Draft Engine for Self-Improving LLM Inference [1.0091292967761423]
  TIDEは、オンラインドラフト適応を直接高性能なLLM推論システムに統合する、サービスエンジニアリングネイティブフレームワークである。 TIDEは、推論中に生成されたターゲットモデルをトレーニング信号として再利用し、ターゲットモデルを再ロードすることなく、ゼロオーバーヘッドのドラフト適応を可能にする。 さまざまな現実世界のワークロードに対して、TIDEは静的投機的復号化よりも最大1.15倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-02-05T00:06:12Z)
• Taming Masked Diffusion Language Models via Consistency Trajectory Reinforcement Learning with Fewer Decoding Step [28.12392773921128]
  マスケッド拡散言語モデルは、並列復号化、フレキシブルな生成順序、推論ステップの少ないポテンシャルなどの特性を提供する。 直感的なアプローチは、自己回帰(AR)言語モデルのために確立された技術を直接MDLMに転送することである。 本稿では,EOS Early Rejection (EOSER) と Ascending Step-Size (ASS) デコードスケジューラを提案する。
  論文  参考訳（メタデータ） (2025-09-28T15:01:15Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs [11.572835837392867]
  本研究はGPTA(Large Language Model assistance training framework)を導入し,プレフィックスプロンプトによる下流タスクモデルのトレーニングを強化する。 LLMのデータ露出を最小限にすることで、下流タスクモデルトレーニングにLLMを適用する際のセキュリティと法的課題に対処する。
  論文  参考訳（メタデータ） (2024-03-29T23:04:04Z)
• Semi-Supervised Learning of Optical Flow by Flow Supervisor [16.406213579356795]
  そこで本研究では,事前学習したモデルに対して,地中真実の流れを伴わずに,目標データセットに適応するファインチューニング手法を提案する。 この設計は、従来の自己超越法よりも安定した収束と精度の向上を目的としている。 我々は,Sintel および KITTI ベンチマークにおける最先端光学フローモデルに対する有意義な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-21T06:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。