論文の概要: Scaling and Distilling Text Embeddings for Better Diffusibility
- arxiv url: http://arxiv.org/abs/2610.01016v1
- Date: Thu, 01 Oct 2026 03:59:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.887652
- Title: Scaling and Distilling Text Embeddings for Better Diffusibility
- Title（参考訳）: 拡張性向上のためのテキスト埋め込みのスケーリングと蒸留
- Abstract要約: 組込みモデルを同族内のより強力なものに拡張することで、生成性能が大幅に向上することを示す。
我々はT5Gemma-2を学生エンコーダに蒸留し、教師の復号化確率をソフトラベルとして学習する。
我々の中規模のDLMは、OpenWebText上の実テキストエントロピーにおいて、PPL 17.8(さらに実テキストPPL 15.4)を達成し、PPLのGPT-2-Mを上回った。
- 参考スコア（独自算出の注目度）: 21.36216097546193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion language models (DLMs) offer a promising alternative to autoregressive (AR) language generation. Recent advances in continuous DLMs, which apply latent diffusion to continuous text embeddings, raise a practical question: which embedding makes the best latent space, i.e., the most diffusible? To answer this, we search through different embeddings and find that scaling the embedding model to stronger ones within the same family (T5 to T5Gemma-1 to T5Gemma-2) greatly improves generative performance. But the raw T5Gemma-2 embeddings are still not optimal. They are so discriminative that even the embeddings of plausible alternative words are separated, which makes the generation vulnerable to imperfect sampling. Consequently, continuous diffusion often fails to reach any of them and ends up at an invalid embedding instead. To address this, we distill T5Gemma-2 into a student encoder that learns the teacher's decoded probabilities as soft labels. Learning from such soft labels makes the student pull the alternative embeddings closer while maintaining the encoding-decoding mechanism. The distilled embeddings form a more connected and diffusible latent space, improving over the vanilla T5Gemma-2 embeddings. As a result, our medium-sized DLM achieves Gen. PPL 17.8 (against real-text PPL 15.4) at real-text entropy on OpenWebText, outperforming GPT-2-M on Gen. PPL.
- Abstract（参考訳）: 拡散言語モデル(DLM)は自己回帰(AR)言語生成に代わる有望な代替手段を提供する。
連続的テキスト埋め込みに潜時拡散を適用した連続DLMの最近の進歩は、どの埋め込みが最高の潜時空間、すなわち最も拡散しやすいかという実践的な疑問を提起している。
これに答えるために、異なる埋め込みを探索し、埋め込みモデルを同じファミリー(T5からT5Gemma-1からT5Gemma-2)内のより強力なもの(T5からT5Gemma-2)に拡張することで、生成性能が大幅に向上することを発見した。
しかし、生のT5Gemma-2埋め込みはまだ最適ではありません。
それらは非常に差別的であり、プラウチブルな代替語の埋め込みでさえ分離されるため、生成は不完全なサンプリングに弱い。
その結果、連続拡散はしばしばそれらのいずれかに到達できず、代わりに無効な埋め込みに終わる。
これを解決するために,T5Gemma-2を学生エンコーダに蒸留し,教師の復号化確率をソフトラベルとして学習する。
このようなソフトラベルから学習することで、生徒はエンコーディング・デコーディングのメカニズムを維持しながら、代替の埋め込みをより近づける。
蒸留された埋め込みはより連結され拡散可能な潜在空間を形成し、バニラT5Gemma-2の埋め込みよりも改善される。
その結果、我々の中規模のDLMは、OpenWebText上の実テキストエントロピーにおいて、PPL 17.8(さらに実テキストPPL 15.4)を達成し、PPLのGPT-2-Mを上回った。
関連論文リスト
- One Latent, Many Tokens: Jointly Learning Compressed Embeddings for Efficient Language Diffusion [13.514451981668207]
本稿では,圧縮機,フローマッチングモデル,復号モジュールを共同で訓練するJPEG-DLMを紹介する。
より構造化され、拡散でモデル化しやすく、確実にトークンにデオード可能な圧縮埋め込みを学ぶ。
LM1B および OWT 上の近年の拡散流モデルの中では,Gen-PPL の平均値とスループットが最も低い。
論文 参考訳（メタデータ） (2026-09-27T16:00:45Z) - ForkLeft: Entropy-First Rollouts for Prefix-Aligned Autoregressive-to-Diffusion Distillation [12.983899693598396]
拡散言語モデル(DLM)はフレキシブルトークン順序と並列生成を提供する。
直接蒸留は基本的なミスマッチに直面し、自己回帰的な教師は左の接頭辞から予測し、一方DLMは両側のトークンに条件を付ける。
本稿では,教師の指導から学生のロールアウトを分離することで,このミスマッチを解決する蒸留フレームワークであるForkLeftを紹介する。
論文 参考訳（メタデータ） (2026-09-26T10:29:45Z) - CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think [17.27394520177311]
CoDARは、強いコンテキスト条件の離散化学習をしながら、埋め込み空間における拡散を完全に連続的に維持する2段階のフレームワークである。
LM1BとOpenWebTextの実験は、CoDARが潜伏拡散よりも生成品質を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-03-03T03:05:15Z) - MoLingo: Motion-Language Alignment for Text-to-Motion Generation [50.33970522600594]
MoLingoはテキスト・トゥ・モーション(T2M)モデルであり、連続した潜伏空間で妄想することで現実的な人間の動きを生成する。
フレームレベルのテキストラベルで訓練された意味対応のモーションエンコーダを提案し,類似したテキストの意味を持つラテントが近づき続けるようにした。
また,シングルトークン条件とマルチトークンのクロスアテンションスキームを比較し,クロスアテンションがより優れた動きリアリズムとテキストモーションアライメントをもたらすことを発見した。
論文 参考訳（メタデータ） (2025-12-15T19:22:40Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳（メタデータ） (2025-09-28T17:59:15Z) - LightFair: Towards an Efficient Alternative for Fair T2I Diffusion via Debiasing Pre-trained Text Encoders [84.39846443122853]
本稿では,テキストエンコーダの悪影響に対処して,公平なテキスト・画像拡散モデル(T2I DM)を実現するための,新しい軽量なアプローチを提案する。
T2I DMは複数のコンポーネントから構成されており、テキストエンコーダは最も微調整可能なフロントエンドモジュールである。
本手法は,SOTA脱バイアスをトレーニング負荷のわずか1/4ドルで達成し,サンプリング負荷がほぼ増加しない。
論文 参考訳（メタデータ） (2025-09-28T04:46:39Z) - Compressed and Smooth Latent Space for Text Diffusion Modeling [71.87805084454187]
テキスト生成のための新しいアプローチであるCosmosを紹介します。
我々は,トークンレベルの拡散モデルに匹敵する生成品質を維持しつつ,テキスト表現を8倍に圧縮できることを実証した。
本研究では,ストーリー生成,質問生成,要約,デトキシフィケーションを含む4つの多種多様な生成課題についてコスモスを評価し,様々な生成パラダイムと比較する。
論文 参考訳（メタデータ） (2025-06-26T12:05:13Z) - MrT5: Dynamic Token Merging for Efficient Byte-level Language Models [50.46453950887946]
この研究は、より効率的なByT5の変種であるMrT5(MergeT5)を導入し、トークン削除機構をエンコーダに統合し、入力シーケンスの長さを動的に短縮する。
MrT5は、削除されたトークンから重要な情報をよりコンパクトなシーケンスに"マージ"し、残りのトークンからコンテキスト情報を活用する。
MrT5は、XNLI、TyDi QA、文字レベルのタスクなどの下流評価ではByT5に匹敵する精度を示し、シーケンス長を最大75%削減する。
論文 参考訳（メタデータ） (2024-10-28T06:14:12Z) - Improved Paraphrase Generation via Controllable Latent Diffusion [60.479643304122504]
textitLatent textitDiffusion textitParaphraser(LDP)を提案する。
実験の結果,LDPはベースラインよりもパラフレーズ生成の質や多様性をよく再現できることがわかった。
論文 参考訳（メタデータ） (2024-04-13T09:24:32Z) - 2D Matryoshka Sentence Embeddings [11.682642816354418]
textitTwo-dimensional Matryoshka Sentence Embedding (2DMSE)footnote。
埋め込みサイズとトランスフォーマー層の両方の弾性設定をサポートし、MRLよりも柔軟性と効率性が高い。
実験により, 異なる埋め込みサイズとトランスフォーマー層を動的に支持する上で, 提案モデルの有効性が示された。
論文 参考訳（メタデータ） (2024-02-22T18:35:05Z) - Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text
Models [10.645591218689058]
テキスト・トゥ・テキスト・トランスフォーマー (T5) 文の埋め込みを初めて行う。
本稿では,T5文の埋め込みを抽出する3つの方法について検討する。
エンコーダのみのモデルは、転送タスクとセマンティックテキストの類似性の両方においてBERTベースの文埋め込みよりも優れています。
論文 参考訳（メタデータ） (2021-08-19T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。