論文の概要: Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines

• arxiv url: http://arxiv.org/abs/2407.21046v1
• Date: Mon, 22 Jul 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 19:28:03.123724
• Title: Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines
• Title（参考訳）: 生成的マスク言語モデリングの約束と落とし穴:理論的枠組みと実践的ガイドライン
• Authors: Yuchen Li, Alexandre Kirchmeyer, Aashay Mehta, Yilong Qin, Boris Dadachev, Kishore Papineni, Sanjiv Kumar, Andrej Risteski,
• Abstract要約: GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 74.42485647685272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models are the currently dominant paradigm for text generation, but they have some fundamental limitations that cannot be remedied by scale-for example inherently sequential and unidirectional generation. While alternate classes of models have been explored, we have limited mathematical understanding of their fundamental power and limitations. In this paper we focus on Generative Masked Language Models (GMLMs), a non-autoregressive paradigm in which we train a model to fit conditional probabilities of the data distribution via masking, which are subsequently used as inputs to a Markov Chain to draw samples from the model, These models empirically strike a promising speed-quality trade-off as each step can be typically parallelized by decoding the entire sequence in parallel. We develop a mathematical framework for analyzing and improving such models which sheds light on questions of sample complexity and inference speed and quality. Empirically, we adapt the T5 model for iteratively-refined parallel decoding, achieving 2-3x speedup in machine translation with minimal sacrifice in quality compared with autoregressive models. We run careful ablation experiments to give recommendations on key design choices, and make fine-grained observations on the common error modes in connection with our theory. Our mathematical analyses and empirical observations characterize both potentials and limitations of this approach, and can be applied to future works on improving understanding and performance of GMLMs. Our codes are released at https://github.com/google-research/google-research/tree/master/padir
• Abstract（参考訳）: 自動回帰言語モデルは、現在テキスト生成において支配的なパラダイムであるが、いくつかの基本的な制限があり、例えば、本質的にシーケンシャルで一方向の生成では修正できない。 モデルの代替クラスが検討されているが、その基本的なパワーと限界に関する数学的理解は限られている。 本稿では,モデルからサンプルを抽出するためにマルコフチェインへの入力として使用されるマスキングにより,データ分布の条件付き確率に適合するようにモデルを訓練する,非自己回帰的パラダイムであるGMLM(Generative Masked Language Models)に焦点を当てる。 本研究では,サンプルの複雑さや推論速度,品質といった問題に光を当てたモデルの解析と改善のための数学的枠組みを開発する。 実験では,T5モデルを並列デコードに繰り返し適用し,自動回帰モデルと比較して,品質の犠牲を最小限に抑えながら,機械翻訳において2～3倍の高速化を実現した。 我々は、重要な設計選択について推奨を与えるため、慎重にアブレーション実験を行い、我々の理論に関連する一般的なエラーモードについて詳細に観察する。 我々の数学的分析と経験的観察は、このアプローチのポテンシャルと限界の両方を特徴づけ、GMLMの理解と性能を改善するための将来の研究に適用できる。 私たちのコードはhttps://github.com/google-research/google-research/tree/master/padirで公開されています。

関連論文リスト

• Model Stealing for Any Low-Rank Language Model [25.16701867917684]
  我々は、単純で数学的に計算可能な設定を研究することによって、言語モデルを盗むという理論的理解を構築する。 我々の主な成果は、低ランク分布を学習するための条件付きクエリモデルにおける効率的なアルゴリズムである。 これは、少なくとも理論的には、推論時に機械学習モデルがより複雑な問題を解くことができるという興味深い例である。
  論文  参考訳（メタデータ） (2024-11-12T04:25:31Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• BODAME: Bilevel Optimization for Defense Against Model Extraction [10.877450596327407]
  私たちは、サービスプロバイダのアタッカーを最も推測する前提の下でモデル抽出を防ぐために、逆の設定を検討します。 真のモデルの予測を用いてサロゲートモデルを定式化する。 勾配降下に基づくアルゴリズムを用いて学習されるより複雑なモデルに対して,トラクタブル変換とアルゴリズムを与える。
  論文  参考訳（メタデータ） (2021-03-11T17:08:31Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。