論文の概要: Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.09145v1
• Date: Tue, 06 Oct 2026 21:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.615785
• Title: Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models
• Title（参考訳）: プロンプトの雑音:連続拡散言語モデルにおける条件付トークンの雑音化
• Abstract要約: 本研究では, 連続拡散言語モデルにおける標準的慣行として, 訓練中清潔な条件付きトークンの修正について再検討する。 この修正された学習目標の下では,スドクやN-クィーンズなどの推論タスクにおいて,より優れた一般化が達成されることを示す。 また,ギガワードを要約した控えめなデータセット構造において,自然言語生成の質が向上することを示す。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We revisit a standard accepted practice in the continuous diffusion language model literature of fixing conditioning prompt tokens clean during training. We make a very simple modification: also noise the conditioning prompt tokens during training. We demonstrate that under this modified training objective, we achieve better generalization in combinatorial reasoning tasks such as Sudoku and N-Queens, with the largest gains on harder variants ($3.73\% \to 24.65\%$ solve rate on Sudoku Hard), and increased diversity of generated solutions ($50.60\% \to 73.79\%$ coverage on 10x10 N-Queens). We also show measurable improvements to natural language generation quality in modest dataset regimes with Gigaword summarization, but notably demonstrate that gains do not transfer to all natural language tasks (e.g open ended dialogue generation). Our method is a single line change to the training objective, requires no additional inference costs by default, and provides the flexibility of classifier-free guidance inspired guided sampling. Our \href{https://github.com/LateralIntelligence/noise-your-prompt} {code} is publicly available.
• Abstract（参考訳）: 本研究では, 連続拡散言語モデルにおける標準的慣行として, 訓練中清潔な条件付きトークンの修正について再検討する。 私たちは非常に単純な修正を行い、トレーニング中に条件付けのプロンプトトークンをノイズにします。 この修正された学習目標の下では, シュドクやN-クィーンなどの組合せ推論タスクにおいて, より厳密な変種(3.73\% \to 24.65\%$解決率) と生成した解の多様性(50.60\% \to 73.79\%$10x10N-クィーン)の増大により, より高度な一般化を実現している。 また、ギガワードを要約した控えめなデータセット構造において、自然言語生成の品質が測定可能な改善を示すが、特に、ゲインがすべての自然言語タスク(例えば、オープンエンド対話生成)に転送されないことを示す。 提案手法は,トレーニング対象への一行変更であり,標準で追加の推論コストを要さず,分類者なし誘導誘導誘導誘導サンプリングの柔軟性を提供する。 我々の \href{https://github.com/LateralIntelligence/noise-your-prompt} {code} が公開されている。

関連論文リスト

• Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing [8.921166277011347]
  モデルが既に両方のスタイルを符号化していることを示し、その課題はアクティベーションを制御することである。 パラレルな冗長/意図された転写文字ペアで訓練されたカバレッジ対応デコーダタスクトークンを用いて、ドイツの拡散F1を10%から79%ゼロショットに引き上げる。 完全な英語のみの微調整は、動詞の精度、拡散検出、および両方の言語にわたる意図されたモードの品質において、すべてのベースラインを超えている。
  論文  参考訳（メタデータ） (2026-07-21T10:19:17Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• FLEXITOKENS: Flexible Tokenization for Evolving Language Models [9.003053181721823]
  言語モデル(LM)は、単純な微調整によって新しいデータ分布に適応することが困難である。 これは、そのサブワードトークンーザの剛性のためであり、通常は適応中に変化しない。 我々は、トークン化を適応させるために、学習可能なトークン化器を備えたバイトレベルのLMを開発する。
  論文  参考訳（メタデータ） (2025-07-17T01:55:41Z)
• StochasTok: Improving Fine-Grained Subword Understanding in LLMs [39.85256850592515]
  サブワードレベルの理解は、多桁数字の理解、綴りミス、略語、韻律、言葉遊びなど、多くのタスクに不可欠である。 現在の大きな言語モデル(LLM)は、一見単純なサブワードレベルのタスクに苦しむことが多い。 我々はStochasTokを紹介した。StochasTokは、トレーニング中にトークンをランダムに分割し、LCMが"内部構造を見る"ことを可能にする、シンプルで効率的なトークン化スキームである。
  論文  参考訳（メタデータ） (2025-06-02T13:51:11Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。