論文の概要: Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion

• arxiv url: http://arxiv.org/abs/2610.20669v1
• Date: Wed, 14 Oct 2026 10:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.975455
• Title: Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion
• Title（参考訳）: 離散拡散における逐次モンテカルロ誘導のための値インフォーム型スケジュールトリミング
• Abstract要約: 固定予算の下でガイド付きタイムステップを自動的に選択する,トレーニング不要なVISTAを提案する。 例えば、有毒テキスト生成では、VISTAはフルガイダンスの1.00と比較して0.99ユニークな有毒比に達する。
• 参考スコア（独自算出の注目度）: 5.173766739354973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward-guided discrete diffusion enables test-time alignment with downstream objectives, but applying Sequential Monte Carlo (SMC) guidance at every denoising step is computationally expensive. Active guidance steps require additional reward evaluations and, for gradient-based proposals, value-gradient computations. Sparse guidance reduces this cost by guiding only a subset of timesteps, but commonly used schedules are fixed heuristics whose effectiveness can vary substantially across tasks. We propose VISTA, a training-free method that automatically selects guided timesteps under a fixed budget. VISTA formulates sparse guidance as approximation of the ideal full-guidance probability path and derives an estimable upper bound on \(\ell_1\) path deviation. Using value statistics collected from a small number of full-guidance warmup generations, VISTA optimizes the resulting empirical surrogate exactly via dynamic programming. The warmup generations can be retained as model outputs, and after schedule selection VISTA has the same per-generation guidance complexity as other sparse schedules with the same budget. Across text, biological sequence, and image generation tasks, VISTA discovers task-dependent schedules and outperforms hand-designed sparse schedules in most tested settings, while approaching or exceeding full-guidance performance on several task metrics. In toxic-text generation, for example, VISTA attains a 0.99 unique-toxic ratio compared with 1.00 for full guidance while reducing post-selection per-generation latency from 204.23 s to 38.16 s, a 5.35$\times$ speedup.
• Abstract（参考訳）: 逆誘導離散拡散は、下流の目的とテストタイムアライメントを可能にするが、シークエンシャルモンテカルロ(SMC)ガイダンスを適用すると、デノナイジングステップ毎に計算コストがかかる。 アクティブガイダンスのステップには、追加の報酬評価と、勾配ベースの提案、価値段階の計算が必要である。 スパースガイダンスは、時間ステップのサブセットだけを導くことで、このコストを削減するが、一般的に使われるスケジュールは、タスク間で有効性が著しく異なる固定ヒューリスティックである。 固定予算の下でガイド付きタイムステップを自動的に選択する,トレーニング不要なVISTAを提案する。 VISTAは、理想的な全誘導確率パスの近似としてスパースガイダンスを定式化し、\(\ell_1\)パスの偏差に基づいて推定可能な上限を導出する。 少数のフルガイダンスウォームアップ世代から収集された値統計を用いて、VISTAは動的プログラミングによって得られる経験的サロゲートを正確に最適化する。 ウォームアップ世代はモデル出力として保持することができ、スケジュール選択後のVISTAは、同じ予算で他の疎いスケジュールと同じ世代毎のガイダンス複雑性を持つ。 テキスト、生物学的シーケンス、画像生成タスク全体で、VISTAはタスク依存のスケジュールを発見し、テストされたほとんどの設定で手書きのスパーススケジュールを上回り、複数のタスクメトリクスでフルガイダンスのパフォーマンスに近づいたり超えたりしている。 例えば、有毒テキスト生成では、VISTAはフルガイダンスの1.00と比較して0.99ユニークな有毒比に達し、世代毎の選択遅延は204.23秒から38.16秒に減少し、5.35$\times$スピードアップとなった。

関連論文リスト

• SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models [52.05605371053102]
  自己投機的復号化は、ターゲットモデルの部分をドラフトとして再利用するが、その効率性は各プロンプトに適したドラフト設定を選択することに依存する。 本研究では, 単一ピークSPeculative Decoding (SP$2$ec) を提案する。 Qwen2.5-VL-7B-InstructとLLaVA-NeXT-ralMist-7Bの視覚的およびテキスト的タスクに対する実験は、オリジナルの自己推測法よりも最大11%改善したことを示す。
  論文  参考訳（メタデータ） (2026-10-13T17:08:28Z)
• CLEAR: Cognition and Latent Evaluation for Adaptive Routing in End-to-End Autonomous Driving [19.474428775260034]
  超高速な生成計画と深い意味的推論を組み合わせたフレームワークであるCLEARを提案する。 CLEARはDrive-JEPAをビジュアルエンコーダとして採用し、VAEラテント空間におけるマルチステップデノイングチェーンを単一ステップ条件ドリフトに置き換える。 NAVSIM v1ベンチマークでは、CLEARは93.7の最先端のPDMSを達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:32:10Z)
• Architecture-Agnostic Curriculum Learning for Document Understanding: Empirical Evidence from Text-Only and Multimodal [13.329839705160927]
  文書理解モデルにおいて,プログレッシブなデータスケジューリングが一貫した効率向上をもたらすかどうかを検討する。 このスケジュールは,6.67から10.0までの有効エポックなデータ削減と合わせて,ウォールクロックのトレーニング時間を約33%短縮することを確認した。
  論文  参考訳（メタデータ） (2026-02-02T10:09:26Z)
• Task-oriented Learnable Diffusion Timesteps for Universal Few-shot Learning of Dense Tasks [48.86985692711283]
  現在の拡散モデルに基づくアプリケーションは、マルチステップ前方のマルコフ過程から学習された視覚表現のパワーを単一タスク予測タスクに利用している。 本稿では,タスク認識型タイムステップ選択(TTS)と,その選択したタイムステップ機能を統合するTFC(Timestep Feature Consolidation)の2つのモジュールを提案する。 本フレームワークは,少数のサポートクエリのみを考慮すれば,高密度な予測性能を効果的に実現している。
  論文  参考訳（メタデータ） (2025-12-29T05:19:01Z)
• Dynamic Learning Rate Scheduling based on Loss Changes Leads to Faster Convergence [2.1665689529884697]
  emphGreedyLRは、トレーニング中に現在の損失に基づいて学習率を適応的に調整する新しいスケジューラである。 提案手法は, 精度, 速度, 収束の点で, 最先端のスケジューラよりも優れている。
  論文  参考訳（メタデータ） (2025-12-16T16:03:52Z)
• ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
  テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。 木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。 本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
  論文  参考訳（メタデータ） (2025-02-19T09:30:38Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• REX: Revisiting Budgeted Training with an Improved Schedule [14.618325490983052]
  本稿では,Reflectred Exponential(REX)スケジュールと呼ばれる新しいプロファイルとサンプリングレートの組み合わせを提案する。 REXは、いくつかの最先端の学習率スケジュールのパフォーマンスを一致または超えながら、低予算で線形スケジュールを上回ります。
  論文  参考訳（メタデータ） (2021-07-09T04:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。