論文の概要: Adaptive Discretization for Consistency Models

• arxiv url: http://arxiv.org/abs/2510.17266v1
• Date: Mon, 20 Oct 2025 07:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.357905
• Title: Adaptive Discretization for Consistency Models
• Title（参考訳）: 一貫性モデルに対する適応的離散化
• Authors: Jiayu Bai, Zhanbo Feng, Zhijie Deng, Tianqi Hou, Robert C. Qiu, Zenan Ling,
• Abstract要約: 本稿では,一貫性モデルの自動的かつ適応的な離散化のための統一的なフレームワークを提案する。 ラグランジュ乗算器との局所的整合性とグローバル的整合性のトレードオフを確立する。 実験により,ADCMはCMのトレーニング効率を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 23.589990092936016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency Models (CMs) have shown promise for efficient one-step generation. However, most existing CMs rely on manually designed discretization schemes, which can cause repeated adjustments for different noise schedules and datasets. To address this, we propose a unified framework for the automatic and adaptive discretization of CMs, formulating it as an optimization problem with respect to the discretization step. Concretely, during the consistency training process, we propose using local consistency as the optimization objective to ensure trainability by avoiding excessive discretization, and taking global consistency as a constraint to ensure stability by controlling the denoising error in the training target. We establish the trade-off between local and global consistency with a Lagrange multiplier. Building on this framework, we achieve adaptive discretization for CMs using the Gauss-Newton method. We refer to our approach as ADCMs. Experiments demonstrate that ADCMs significantly improve the training efficiency of CMs, achieving superior generative performance with minimal training overhead on both CIFAR-10 and ImageNet. Moreover, ADCMs exhibit strong adaptability to more advanced DM variants. Code is available at https://github.com/rainstonee/ADCM.
• Abstract（参考訳）: 一貫性モデル(CM)は効率的なワンステップ生成を約束している。 しかし、既存のCMの多くは手動で設計した離散化方式に依存しており、異なるノイズスケジュールやデータセットの繰り返し調整を引き起こす可能性がある。 そこで本研究では,CMの自動的かつ適応的な離散化のための統一的なフレームワークを提案し,これを離散化ステップに関する最適化問題として定式化する。 具体的には, 過度な離散化を回避し, 訓練対象の騒音誤差を制御し, グローバルな整合性を確保する制約として, トレーニング容易性を確保するために, 局所的整合性を最適化目的として用いることを提案する。 ラグランジュ乗算器との局所的整合性とグローバル的整合性のトレードオフを確立する。 この枠組みに基づいて,ガウスニュートン法を用いてCMの適応的離散化を実現する。 私たちはアプローチをADCMと呼びます。 実験により、ADCMはCMのトレーニング効率を大幅に向上し、CIFAR-10とImageNetの両方でのトレーニングオーバーヘッドを最小限に抑えながら、優れた生成性能が得られることが示された。 さらに、ADCMはより高度なDM変異に対して強い適応性を示す。 コードはhttps://github.com/rainstonee/ADCMで入手できる。

関連論文リスト

• MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search [12.345218777941108]
  Low-Rank Adaptation (LoRA) のようなパラメータ効率の高い手法を用いた細調整型マルチモーダル言語モデル (MLLM) はタスク適応に不可欠である。 そこで我々はMARS(Multimodal Adaptive Rank Search)を導入し,性能を最大化しながらトレーニングのバランスをとる最適なランクペアを探索する手法を提案する。 1つの法則は、モジュール固有の収束時間で探索空間を定式化し、もう1つの法則は最終タスク性能を予測し、与えられた集合から最適なペアを選択する。
  論文  参考訳（メタデータ） (2026-02-28T15:58:28Z)
• Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization [29.92519720312025]
  我々は、各エージェントの強靭な欲求行動が、強靭なチーム・最適関節行動と整合することを要求する原則である分散ロバストIGM(DrIGM)を導入する。 DrIGMは、分散されたgreedy実行と互換性のある、堅牢な個々のアクション値の新たな定義を保っている。 我々は既存のバリューファクターアーキテクチャのDrygM準拠の堅牢なバリエーションを導出する。
  論文  参考訳（メタデータ） (2026-02-11T23:24:15Z)
• An Adaptive Differentially Private Federated Learning Framework with Bi-level Optimization [10.218291445871435]
  フェデレーション学習は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 実際の展開では、デバイスの不均一性、非独立性、および同一に分散された(Non-IID)データは、しばしば非常に不安定で偏りのある勾配更新をもたらす。 異種およびプライバシー制約のある環境下でモデル効率を明示的に目標とする適応型微分プライベートなフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:27:33Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
  Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。 本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:06:04Z)
• Learning to Coordinate: Distributed Meta-Trajectory Optimization Via Differentiable ADMM-DDP [4.880846795915428]
  多様なタスクやエージェント構成に適応するために,L2C(Learning to Coordinate)を提案する。 L2CはADMM-DDPパイプラインを通じてエンドツーエンドを分散的に区別する。 最先端の手法よりも高速な勾配計算を実現する。
  論文  参考訳（メタデータ） (2025-09-01T17:17:05Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• MSDA: Combining Pseudo-labeling and Self-Supervision for Unsupervised Domain Adaptation in ASR [59.83547898874152]
  本稿では,自己教師付き学習と半教師付き技術を統合する,サンプル効率のよい2段階適応手法を提案する。 MSDAは、ASRモデルの堅牢性と一般化を強化するように設計されている。 本稿では,メタPLがASRタスクに効果的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-05-30T14:46:05Z)
• Contraction Actor-Critic: Contraction Metric-Guided Reinforcement Learning for Robust Path Tracking [0.0]
  制御収縮メトリック(CCM)は、コントローラと対応する収縮メトリックを共合成するフレームワークを提供する。 我々は,CCMを強化学習(RL)に統合し,CCMが動的インフォームドフィードバックを学習制御ポリシーにもたらすことを提案する。 我々は,契約アクタ批判 (CAC) と呼ばれるアルゴリズムが,契約ポリシーのセットを提供するためのCCMの能力を公式に強化することを示した。
  論文  参考訳（メタデータ） (2025-05-28T22:26:23Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Accelerated Federated Learning with Decoupled Adaptive Optimization [53.230515878096426]
  フェデレートドラーニング(FL)フレームワークは、クライアント上のトレーニングデータのプライバシを維持しながら、共有モデルを協調的に学習することを可能にする。 近年,SGDM,Adam,AdaGradなどの集中型適応最適化手法をフェデレートした設定に一般化するためのイテレーションが多数実施されている。 本研究は、常微分方程式(ODE)のダイナミクスの観点から、FLの新しい適応最適化手法を開発することを目的としている。
  論文  参考訳（メタデータ） (2022-07-14T22:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。