論文の概要: Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines

• arxiv url: http://arxiv.org/abs/2407.21046v1
• Date: Mon, 22 Jul 2024 18:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-04 19:28:03.123724
• Title: Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines
• Title（参考訳）: 生成的マスク言語モデリングの約束と落とし穴:理論的枠組みと実践的ガイドライン
• Authors: Yuchen Li, Alexandre Kirchmeyer, Aashay Mehta, Yilong Qin, Boris Dadachev, Kishore Papineni, Sanjiv Kumar, Andrej Risteski,
• Abstract要約: GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 74.42485647685272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models are the currently dominant paradigm for text generation, but they have some fundamental limitations that cannot be remedied by scale-for example inherently sequential and unidirectional generation. While alternate classes of models have been explored, we have limited mathematical understanding of their fundamental power and limitations. In this paper we focus on Generative Masked Language Models (GMLMs), a non-autoregressive paradigm in which we train a model to fit conditional probabilities of the data distribution via masking, which are subsequently used as inputs to a Markov Chain to draw samples from the model, These models empirically strike a promising speed-quality trade-off as each step can be typically parallelized by decoding the entire sequence in parallel. We develop a mathematical framework for analyzing and improving such models which sheds light on questions of sample complexity and inference speed and quality. Empirically, we adapt the T5 model for iteratively-refined parallel decoding, achieving 2-3x speedup in machine translation with minimal sacrifice in quality compared with autoregressive models. We run careful ablation experiments to give recommendations on key design choices, and make fine-grained observations on the common error modes in connection with our theory. Our mathematical analyses and empirical observations characterize both potentials and limitations of this approach, and can be applied to future works on improving understanding and performance of GMLMs. Our codes are released at https://github.com/google-research/google-research/tree/master/padir
• Abstract（参考訳）: 自動回帰言語モデルは、現在テキスト生成において支配的なパラダイムであるが、いくつかの基本的な制限があり、例えば、本質的にシーケンシャルで一方向の生成では修正できない。 モデルの代替クラスが検討されているが、その基本的なパワーと限界に関する数学的理解は限られている。 本稿では,モデルからサンプルを抽出するためにマルコフチェインへの入力として使用されるマスキングにより,データ分布の条件付き確率に適合するようにモデルを訓練する,非自己回帰的パラダイムであるGMLM(Generative Masked Language Models)に焦点を当てる。 本研究では,サンプルの複雑さや推論速度,品質といった問題に光を当てたモデルの解析と改善のための数学的枠組みを開発する。 実験では,T5モデルを並列デコードに繰り返し適用し,自動回帰モデルと比較して,品質の犠牲を最小限に抑えながら,機械翻訳において2～3倍の高速化を実現した。 我々は、重要な設計選択について推奨を与えるため、慎重にアブレーション実験を行い、我々の理論に関連する一般的なエラーモードについて詳細に観察する。 我々の数学的分析と経験的観察は、このアプローチのポテンシャルと限界の両方を特徴づけ、GMLMの理解と性能を改善するための将来の研究に適用できる。 私たちのコードはhttps://github.com/google-research/google-research/tree/master/padirで公開されています。

関連論文リスト

• Parallelism and Generation Order in Masked Diffusion Language Models: Limits Today, Potential Tomorrow [30.201913054064363]
  Masked Diffusion Language Modelsは並列トークン生成と任意の順序復号を約束する。 並列性強度と生成順序の2次元に沿ってMDLMの挙動を特徴付ける。 我々は、知識、推論、プログラミングにまたがる58のベンチマークで8つのメインストリームMDLMを評価した。
  論文  参考訳（メタデータ） (2026-01-22T02:39:36Z)
• MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning [20.82742383613536]
  マルチモーダル大言語モデル (MLLM) は視覚言語対応タスクにおいて顕著な機能を示した。 これまでの研究は、特殊な数学的データセットの微調整に重点を置いてきた。 メソッドは推論、リフレクション、報酬に基づくフィードバックのサイクルを通じてモデルを反復的に洗練する。 MathVL-testの結果は、主要なオープンソースマルチモーダル数学的推論モデルQVQを上回った。
  論文  参考訳（メタデータ） (2025-11-10T07:46:19Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs [12.056664630923896]
  投機的復号化は推論効率を大幅に向上させる。 ドラフトとターゲットモデルは、同じ語彙を共有しなければならない。 普遍的な投機的復号化のためのアルゴリズムTokenTimingを提案する。
  論文  参考訳（メタデータ） (2025-10-17T11:25:36Z)
• Understanding and Enhancing Mask-Based Pretraining towards Universal Representations [13.262679155411599]
  マスクをベースとした事前訓練は、言語、視覚、生物学にまたがる近代的な大規模モデルの基盤となっている。 マスクによる事前学習の動作は,高次元最小ノルム(リッジレス)線形回帰におけるテストリスクによって直接的に特徴付けられることを示す。 我々はRandomly Random Mask Auto (R$2$MAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-25T22:08:25Z)
• Probabilistic Token Alignment for Large Language Model Fusion [100.30692772017238]
  大規模言語モデル(LLM)をスクラッチからトレーニングすると、ユニークな機能と強みを持つモデルが得られるが、コストがかかり、しばしば冗長な機能をもたらす。 既存のモデル融合における重要な課題は、手動で定義された語彙のアライメントに依存することである。 PTA-LLM と呼ばれるアライメントのための一般およびソフトマッピングとして確率的トークンアライメント法を提案する。
  論文  参考訳（メタデータ） (2025-09-21T23:18:24Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Model Stealing for Any Low-Rank Language Model [25.16701867917684]
  我々は、単純で数学的に計算可能な設定を研究することによって、言語モデルを盗むという理論的理解を構築する。 我々の主な成果は、低ランク分布を学習するための条件付きクエリモデルにおける効率的なアルゴリズムである。 これは、少なくとも理論的には、推論時に機械学習モデルがより複雑な問題を解くことができるという興味深い例である。
  論文  参考訳（メタデータ） (2024-11-12T04:25:31Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• BODAME: Bilevel Optimization for Defense Against Model Extraction [10.877450596327407]
  私たちは、サービスプロバイダのアタッカーを最も推測する前提の下でモデル抽出を防ぐために、逆の設定を検討します。 真のモデルの予測を用いてサロゲートモデルを定式化する。 勾配降下に基づくアルゴリズムを用いて学習されるより複雑なモデルに対して,トラクタブル変換とアルゴリズムを与える。
  論文  参考訳（メタデータ） (2021-03-11T17:08:31Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。