Fugu-MT 論文翻訳(概要): Text Generation Beyond Discrete Token Sampling

論文の概要: Text Generation Beyond Discrete Token Sampling

arxiv url: http://arxiv.org/abs/2505.14827v2
Date: Wed, 28 May 2025 01:56:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-29 15:04:28.060624
Title: Text Generation Beyond Discrete Token Sampling
Title（参考訳）: 離散的なトークンサンプリングを超えたテキスト生成
Authors: Yufan Zhuang, Liyuan Liu, Chandan Singh, Jingbo Shang, Jianfeng Gao,
Abstract要約: 入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。 MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
参考スコア（独自算出の注目度）: 75.96920867382859
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In standard autoregressive generation, an LLM predicts the next-token distribution, samples a discrete token, and then discards the distribution, passing only the sampled token as new input. To preserve this distribution's rich information, we propose Mixture of Inputs (MoI), a training-free method for autoregressive generation. After generating a token following the standard paradigm, we construct a new input that blends the generated discrete token with the previously discarded token distribution. Specifically, we employ a Bayesian estimation method that treats the token distribution as the prior, the sampled token as the observation, and replaces the conventional one-hot vector with the continuous posterior expectation as the new model input. MoI allows the model to maintain a richer internal representation throughout the generation process, resulting in improved text quality and reasoning capabilities. On mathematical reasoning, code generation, and PhD-level QA tasks, MoI consistently improves performance across multiple models including QwQ-32B, Nemotron-Super-49B, Gemma-3-27B, and DAPO-Qwen-32B, with no additional training and negligible computational overhead.
Abstract（参考訳）: 標準的な自己回帰生成では、LCMは次のトーケン分布を予測し、離散トークンをサンプリングし、次にその分布を破棄し、サンプルトークンのみを新しい入力として渡す。この分布の豊富な情報を保存するために,自己回帰生成のためのトレーニング不要なMixture of Inputs (MoI)を提案する。標準パラダイムに従ってトークンを生成した後、生成された離散トークンと以前に捨てられたトークン分布をブレンドする新しい入力を構築する。具体的には、トークン分布を先行として扱うベイズ推定法、サンプルトークンを観察として、従来の1ホットベクトルを新しいモデル入力として後続予測に置き換える。 MoIにより、生成プロセス全体を通してよりリッチな内部表現を維持することができ、結果としてテキストの品質と推論能力が改善される。数学的推論、コード生成、PhDレベルのQAタスクにおいて、MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善し、追加のトレーニングや無視可能な計算オーバーヘッドを伴わない。

関連論文リスト

Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
論文参考訳（メタデータ） (2026-02-12T05:17:31Z)
Discrete Feynman-Kac Correctors [47.62319930071118]
本研究では,離散マスク拡散モデルの生成分布を推定時に制御できるフレームワークを提案する。連続モンテカルロ (SMC) アルゴリズムを導出し, 訓練された離散拡散モデルを用いて, サンプル分布の温度を制御した。本稿では,Isingモデルのボルツマン分布からの効率的なサンプリング,コード生成および記憶学習のための言語モデルの性能向上,および報酬型タンパク質配列生成など,フレームワークの有用性について述べる。
論文参考訳（メタデータ） (2026-01-15T13:55:38Z)
PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space [44.24277388571869]
我々は、新しい事前学習手法を提案する:潜在思考を用いた言語モデル(PonderLM-2) 我々のアプローチでは、まず言語モデル(LM)を事前訓練して、現在位置の最後の隠れ状態である中間潜在思考を生成し、その後、実際のトークンを予測するために入力として使用される。実験により、同一の推論コストでトークンごとに1つの追加の潜在的思考を生成するLMが、パラメータの2倍の標準モデルより優れていることが示された。
論文参考訳（メタデータ） (2025-09-27T08:38:08Z)
Image Tokenizer Needs Post-Training [76.91832192778732]
本稿では,遅延空間構築と復号化に着目した新しいトークン化学習手法を提案する。具体的には,トークン化の堅牢性を大幅に向上させる,プラグアンドプレイ型トークン化学習手法を提案する。生成したトークンと再構成されたトークンの分布差を軽減するために、よく訓練された生成モデルに関するトークン化デコーダをさらに最適化する。
論文参考訳（メタデータ） (2025-09-15T21:38:03Z)
Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文参考訳（メタデータ） (2025-07-11T08:00:47Z)
Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
論文参考訳（メタデータ） (2025-04-29T06:33:13Z)
Diffusion Generative Recommendation with Continuous Tokens [21.222713476105195]
ContRecは、連続トークンをLLMベースのRecSysにシームレスに統合するフレームワークである。 ContRecは従来型およびSOTA LLMベースのレコメンデータシステムよりも一貫して優れていることを示す。本研究は,次世代レコメンデーションシステムにおける連続トークン化と生成モデリングの可能性を強調した。
論文参考訳（メタデータ） (2025-04-16T12:01:03Z)
Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-03-04T17:46:51Z)
Distributional Diffusion Models with Scoring Rules [83.38210785728994]
拡散モデルは高品質な合成データを生成する。高品質な出力を生成するには、多くの離散化ステップが必要です。クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
論文参考訳（メタデータ） (2025-02-04T16:59:03Z)
Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文参考訳（メタデータ） (2024-07-01T15:43:25Z)
From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers [41.82477691012942]
本研究では,一連のプロンプトと関連する出力データから1層自己注意モデルを学習する。まず、自己注意機構とマルコフモデルとの正確なマッピングを確立する。我々は,自己注意による生成過程が崩壊し,トークンの限られた部分集合をサンプリングする,興味深い勝者とあらゆる現象を特徴付ける。
論文参考訳（メタデータ） (2024-02-21T03:51:34Z)
Energy-bounded Learning for Robust Models of Code [16.592638312365164]
プログラミングでは、コード表現の学習には、コード分類、コード検索、コメント生成、バグ予測など、さまざまなアプリケーションがある。本稿では,ソースコードモデルのトレーニングプロセスにこれらのアウト・オブ・ディストリビューション・サンプルを組み込むため,エネルギー境界学習目標関数を用いて,イン・ディストリビューション・サンプルにより高いスコアを割り当て,アウト・オブ・ディストリビューション・サンプルに低いスコアを割り当てることを提案する。
論文参考訳（メタデータ） (2021-12-20T06:28:56Z)
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。代用トークン検出という,より効率的な事前学習タスクを提案する。
論文参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。