論文の概要: Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

• arxiv url: http://arxiv.org/abs/2609.27248v1
• Date: Wed, 23 Sep 2026 02:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.843339
• Title: Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders
• Title（参考訳）: 高忠実性連続テキストオートエンコーダとしてのプレトレーニングLDMの再生
• Abstract要約: 次トーケン予測は、高度に流動的な自己回帰言語モデルを実現するが、逐次分解によるグローバル構造のみを間接的に表現する。 対照的に、高忠実度オートエンコーダは画像生成において標準的なプリミティブとなり、生成モデルが連続的な潜在空間上で動作できるようにする。 LLMAEは,事前訓練されたデコーダのみの言語モデルを,連続的なテキストオートエンコーダとして再利用する手法である。
• 参考スコア（独自算出の注目度）: 50.57199085611665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next-token prediction has enabled highly fluent autoregressive language models, but it represents global structure only indirectly through sequential factorization. In contrast, high-fidelity autoencoders have become a standard primitive in image generation, enabling generative models to operate over continuous latent spaces; text lacks a comparably faithful continuous representation. We propose LLMAE, a method for repurposing a pretrained decoder-only language model as a continuous text autoencoder by exposing an intermediate fixed-length latent bottleneck within its internal activations. Instantiated with a parameter-efficient 270M Gemma 3 model, LLMAE uses structured attention masks, LoRA adaptation, and KL regularization to learn an autoencoding interface that leverages the generative prior of the original LLM. We train LLMAE to reconstruct text sequences up to 1024 tokens, significantly improving on this task to achieve near-perfect reconstruction. Furthermore, we demonstrate the downstream utility of this representation by training a latent text diffusion model for detailed image captioning using the learned LLMAE autoencoder. By mapping text into a fixed-length continuous latent space, our approach provides an effective substrate for downstream adaptation while benefiting from the fluency of the original LLM.
• Abstract（参考訳）: 次トーケン予測は、高度に流動的な自己回帰言語モデルを実現するが、逐次分解によるグローバル構造のみを間接的に表現する。 対照的に、高忠実度オートエンコーダは画像生成において標準的なプリミティブとなり、生成モデルが連続的な潜在空間上で動作できるようにする。 LLMAEは、事前訓練されたデコーダのみの言語モデルを、内部アクティベーション内で中間的な固定長潜在ボトルネックを露呈し、連続テキスト自動エンコーダとして再利用する手法である。 LLMAEはパラメータ効率270M Gemma 3モデルを用いて、構造化されたアテンションマスク、LoRA適応、およびKL正規化を用いて、オリジナルのLLMに先立つ生成性を活用する自動エンコードインタフェースを学習する。 LLMAEをトレーニングして最大1024個のトークンのテキストシーケンスを再構築し、このタスクを大幅に改善し、ほぼ完全な再構築を実現した。 さらに、学習したLLMAEオートエンコーダを用いて、詳細な画像キャプションのための潜在テキスト拡散モデルを訓練することにより、この表現の下流の有用性を実証する。 本手法は,テキストを固定長連続潜時空間にマッピングすることにより,元のLLMの流速を生かしながら,下流適応に有効な基板を提供する。

関連論文リスト

• Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation [50.92925099642139]
  拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。 MLLMが最初にセマンティック・ビジュアル・トークンを生成し、DiTが多層クロスアテンションを介してテキストとそれらのトークンに条件付きビデオを表示するハイブリッド・フレームワークであるBiVidGenを提案する。
  論文  参考訳（メタデータ） (2026-08-14T07:40:41Z)
• RepFusion: Leveraging Multimodal Priors for Denoising in Representation Space [31.323120799791496]
  大規模言語モデル(LLM)はテキスト・トゥ・イメージ(T2I)システムで広く使われているが、典型的にはテキストエンコーディングに限られる。 表現オートエンコーダ(RAE)の出現は、生成対象を意味的に構造化された視覚表現へとシフトさせる。 本稿では,拡散変圧器の条件信号としてMLLM出力を用いたRepFusionを提案する。
  論文  参考訳（メタデータ） (2026-06-12T17:59:51Z)
• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• Causal2Vec: Improving Decoder-only LLMs as Versatile Embedding Models [22.02568434890804]
  Causal2Vecはデコーダのみの大規模言語モデルの性能を高めるために設計された汎用埋め込みモデルである。 まず、入力テキストを単一のコンテキストトークンにプリエンコードするために、軽量のBERTスタイルのモデルを使用します。 最後に,最後のテキスト埋め込みとしてコンテキストトークンとEOSトークンの隠れ状態を導入した。
  論文  参考訳（メタデータ） (2025-07-31T10:01:11Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• Should We Still Pretrain Encoders with Masked Language Modeling? [27.19054714197245]
  最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計38モデルをトレーニングし、15,000以上の微調整と評価を実行します。 高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-01T17:45:48Z)
• Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator [59.589919015669274]
  本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。 本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。 また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:42:16Z)
• Harnessing the Zero-Shot Power of Instruction-Tuned Large Language Model in End-to-End Speech Recognition [23.172469312225694]
  自動音声認識(ASR)におけるテキスト生成プロセスの指導に,命令調整付き大言語モデル(LLM)を用いることを提案する。 提案手法はCTCとアテンションアーキテクチャを併用し,LLMはデコーダのフロントエンド特徴抽出器として機能する。 実験結果から,LLM誘導モデルによる単語誤り率の相対的な増加率は,主要なベンチマークで約13%であった。
  論文  参考訳（メタデータ） (2023-09-19T11:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。