論文の概要: BERT Is Already a Denoiser: Cheaply Unlocking Iterative Generation in Masked Language Models

• arxiv url: http://arxiv.org/abs/2610.26601v1
• Date: Mon, 19 Oct 2026 15:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:26:59.928613
• Title: BERT Is Already a Denoiser: Cheaply Unlocking Iterative Generation in Masked Language Models
• Title（参考訳）: BERTはすでにデノイザだ:マスク言語モデルの反復生成を素早く解き放つ
• Abstract要約: マスケッド言語モデル(MLM)は、一般的に、デノイングにもかかわらず表現学習に使用される。 拡散訓練なしで条件付き生成をサポートするかどうかを検証する。 我々のデコーダは、マスク付きトークンを何度も予測し、コサインスケジュールを用いて高信頼の予測を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked language models (MLMs) such as BERT are typically used for representation learning despite their denoising pretraining. We test whether this capability supports conditional generation without diffusion training. Our decoder repeatedly predicts masked tokens and commits high-confidence predictions using a cosine schedule. It requires no diffusion timestep or reverse-diffusion objective. Frozen BERT already exhibits substantial denoising capability, reconstructing 61.0%, 37.5%, and 24.4% of masked tokens at 15%, 45%, and 60% corruption, respectively, although generation deteriorates sharply as visible context disappears. This capability alone does not yield task-directed generation: frozen BERT reaches only 11.0% on ARC-Easy and 4.2% on MMLU. Ordinary MLM adaptation, however, rapidly converts the same architecture into a usable generator. Full adaptation reaches 28.2% and 24.6%, respectively, while parameter-efficient adaptation substantially reduces unmatched outputs. On open-ended conditional generation, full MLM adaptation reaches BLEU/ROUGE-L of 0.163/0.583 on QQP and 0.107/0.327 on Quasar-T, placing it in the same broad performance range as published BERT models trained through diffusion without explicit diffusion training. Finally, applying the same generative interface to stronger masked representations substantially improves performance: RoBERTa-large reaches 44.2% on ARC-Easy and 33.8% on MMLU. These results separate three components of masked iterative generation: pretraining supplies the representation and denoising operator, task adaptation determines what the model generates, and an iterative commitment rule supplies the decoding process. Explicit diffusion training is therefore not necessary to obtain effective iterative conditional generation from pretrained MLMs in the settings studied here.
• Abstract（参考訳）: BERTのようなマスケプド言語モデル(MLM)は、通常、予習が遅れているにもかかわらず、表現学習に使用される。 拡散訓練なしで条件付き生成をサポートするかどうかを検証する。 我々のデコーダは、マスク付きトークンを何度も予測し、コサインスケジュールを用いて高信頼の予測を行う。 拡散時間ステップや逆拡散の目的を必要としない。 凍結したBERTは、約61.0%、37.5%、24.4%のマスク付きトークンを15%、45%、60%の汚職で再構築しているが、可視的文脈が消えるにつれて発生は著しく悪化している。 凍ったBERTはARC-Easyでは11.0%、MMLUでは4.2%にしか達しない。 しかし、通常のMLM適応は、同じアーキテクチャを迅速に使用可能なジェネレータに変換する。 完全な適応は28.2%、24.6%に達し、パラメータ効率の適応は未適合の出力を大幅に減少させる。 オープンエンド条件生成では、完全なMLM適応がQQPでは0.163/0.583のBLEU/ROUGE-L、Quasar-Tでは0.107/0.327に達する。 RoBERTa-largeはARC-Easyで44.2%、MMLUで33.8%に達する。 これらの結果はマスク付き反復生成の3つのコンポーネントを分離する。事前学習は表現と復調演算子を供給し、タスク適応はモデルが生成するものを決定し、反復コミットメントルールは復号処理を供給します。 したがって, 事前学習したMLMから効果的な反復条件生成を得るためには, 明示的な拡散訓練は不要である。

関連論文リスト

• Reasoning with Continuous Latent Diffusion [9.70107254223094]
  Continuous Embedding Diffusioner (CEDR)は、ELFベースのトレーニングと推論のレシピである。 我々は,強い自己回帰教師の複数の層からコンパクトな表現を学習する。 我々は,正しいテキスト条件スコアに必要な情報のみをプロンプトエンコーディングで保存する必要があることを示す。
  論文  参考訳（メタデータ） (2026-09-28T17:38:43Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Robust Assamese Speech Recognition through Controlled Fine-Tuning of Whisper Models [1.4095958360608893]
  本稿ではMozilla Common Voice 24.0-Assamese corpusで学習したWhisper-based Assamese ASRシステムについて述べる。 ハードウェア対応の最適化トレーニングパイプラインは、リソース制約のある環境向けに実装されている。
  論文  参考訳（メタデータ） (2026-07-19T09:54:52Z)
• MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models [53.05463623673949]
  MaskForgeは完全にブラックボックス対応の攻撃で、構造パターンのライブラリを最適化した検索としてdLLMのレッドチームを実行する。 攻撃成功率は79.3%であり、最強のdLLMベースラインよりも17.6%向上している。
  論文  参考訳（メタデータ） (2026-06-01T18:10:21Z)
• Fixed-Point Masked Generative Modeling [35.75652770369505]
  Masked Generative Models (MGM) は並列デコードを可能にし、モダリティをまたいだ強力な性能を実現する。 フルシーケンスの双方向トランスフォーマーを各ステップで必要としており、低サンプリング予算下でのトレーニングのコストと品質の低下を図っている。 本稿では,固定点マスキング生成モデル (FP-MGM) を導入し,共有注意層上での定点解法をデノイザの一部に置き換える。
  論文  参考訳（メタデータ） (2026-05-29T12:19:26Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• Test-Time Scaling in Diffusion LLMs via Hidden Semi-Autoregressive Experts [32.164728234520915]
  拡散に基づく大規模言語モデルは、半自己回帰的な専門家の混在を暗黙的に学習する。 固定された推論時間スケジュールにコミットすると、この潜伏したアンサンブルの活用に失敗してパフォーマンスが低下することを示す。 我々は、異種ブロックスケジュールにまたがってアンサンブルを行う、トレーニング不要な推論手法であるHEXを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T17:16:41Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation [97.64625999380425]
  事前学習言語モデル(PLM)のアプローチによるテキスト生成タスクについて検討する。 早期出口技術を活用することで、ELMERは予測信頼度に応じて異なるレイヤでのトークン生成を可能にする。 3つのテキスト生成タスクの実験では、EMMERはNARモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-24T14:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。