論文の概要: How to Guide Your Language Flow

• arxiv url: http://arxiv.org/abs/2609.19356v1
• Date: Wed, 16 Sep 2026 19:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.987718
• Title: How to Guide Your Language Flow
• Title（参考訳）: 言語の流れをガイドする方法
• Abstract要約: 本稿では,フローマッチングモデルをガイドする新しい手法を提案する。 我々の手法はプローブ誘導と呼ばれ、既存の拡散モデルの凍結内部状態を用いて誘導信号を構築する。 提案手法を用いて,弱いチェックポイントを持つ従来の自己指導環境について検討し,低エントロピーのトレーニング領域から弱いモデルを得る必要があることを示す。
• 参考スコア（独自算出の注目度）: 8.995894651841725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new method to guide flow matching models. Our approach, which we call probe guidance, uses the frozen internal states of an existing diffusion model to construct a guidance signal. This works using a similar principle as autoguidance, but eliminates the need for an additional forward pass at inference time and provides a reliable path to ensure that the weak and strong model share similar dynamics. We apply and benchmark this method on continuous diffusion language models, where probe guidance sets a new state-of-the-art performance on unconditional generation. When applied to a 1.7B diffusion language model, probe guidance consistently improves on multiple choice question answering benchmarks. Using our probes, we study the traditional autoguidance setting where the strong model is a weak checkpoint, and find that the weak model must come from a low-entropy region of training. These findings both provide a practical way to improve diffusion language models and shed light on the actual mechanism behind autoguidance, which is currently poorly understood.
• Abstract（参考訳）: 本稿では,フローマッチングモデルをガイドする新しい手法を提案する。 我々の手法はプローブ誘導と呼ばれ、既存の拡散モデルの凍結内部状態を用いて誘導信号を構築する。 これは自己誘導と同様の原理を用いるが、推論時に追加のフォワードパスの必要性を排除し、弱いモデルと強いモデルが同様のダイナミクスを共有することを保証する信頼できる経路を提供する。 本研究では,この手法を連続拡散言語モデルに適用し,非条件生成における新しい最先端性能をプローブガイダンスで設定する。 1.7B拡散言語モデルに適用すると、プローブガイダンスは複数の選択質問応答ベンチマークにおいて一貫して改善される。 提案手法を用いて,強いモデルが弱いチェックポイントとなる従来の自己指導環境について検討し,弱いモデルは訓練の低エントロピー領域から来なければならないことを示す。 これらの知見は、拡散言語モデルを改善するための実践的な方法を提供し、現在あまり理解されていない自己指導の背後にある実際のメカニズムに光を当てるものである。

関連論文リスト

• EntRGi: Entropy Aware Reward Guidance for Diffusion Language Models [42.41157160976886]
  本研究では,離散拡散言語モデルに対する報酬指導について検討する。 既存のアプローチでは、離散トークンを連続的な緩和に置き換えるか、ストレートスルー推定器のようなテクニックを採用する。 本稿では,報酬モデルから勾配を動的に調節するエントロピー対応リワードガイダンスについて紹介する。
  論文  参考訳（メタデータ） (2026-02-04T19:37:14Z)
• Guided Transfer Learning for Discrete Diffusion Models [21.909689920217982]
  離散拡散モデル(GTL)のためのガイド伝達学習を提案する。 GTLは、事前訓練されたデノイザを変更することなく、ターゲット分布からのサンプリングを可能にする。 また、プランナー選択された位置と上位候補トークンの評価に集中する効率的なガイド付きサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-12-11T18:05:55Z)
• Training-Free Stein Diffusion Guidance: Posterior Correction for Sampling Beyond High-Density Regions [46.59494117137471]
  自由拡散誘導の訓練は、追加の訓練なしに既成の分類器を活用する柔軟な方法を提供する。 本稿では,SOC を対象とする新たなトレーニングフリーフレームワークである Stein Diffusion Guidance (SDG) を紹介する。 分子低密度サンプリングタスクの実験は、SDGが標準のトレーニングフリーガイダンス手法を一貫して上回っていることを示唆している。
  論文  参考訳（メタデータ） (2025-07-07T21:14:27Z)
• PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity [9.092404060771306]
  拡散モデルでは、高品質な条件付きサンプルの生成に顕著な結果が示されている。 しかし、既存の方法は、しばしば追加のトレーニングや神経機能評価(NFE)を必要とする。 本稿では,スパースアテンションを生かして事前学習モデルを強化する,PLADISと呼ばれる新しい,効率的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-10T07:23:19Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Diffusion Guided Language Modeling [28.819061884362792]
  多くのアプリケーションでは、感情など、生成された言語の属性を制御することが望ましい。 自動回帰言語モデルでは、既存のガイダンス手法は、生成時にカスケードしたエラーをデコードし、性能を低下させる。 本稿では,自己回帰型言語モデルを用いて所望の特性を持つテキストを生成するための遅延提案を誘導拡散モデルを用いて生成する。
  論文  参考訳（メタデータ） (2024-08-08T05:06:22Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。