論文の概要: Energy-Based Models with Applications to Speech and Language Processing
- arxiv url: http://arxiv.org/abs/2403.10961v1
- Date: Sat, 16 Mar 2024 16:16:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:56:18.157739
- Title: Energy-Based Models with Applications to Speech and Language Processing
- Title（参考訳）: エネルギーモデルと音声・言語処理への応用
- Authors: Zhijian Ou,
- Abstract要約: エネルギーベースモデル(Energy-Based Models、EBMs)は確率モデルの重要なクラスであり、ランダムフィールドや非方向グラフィカルモデルとも呼ばれる。
本書では,アルゴリズムの進歩と音声処理および言語処理への応用を含む,ESMの体系的導入について述べる。
EBMを3つの異なるシナリオ、すなわち境界分布、条件分布、関節分布のモデリングに適用する。
- 参考スコア（独自算出の注目度）: 10.52813053757698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-Based Models (EBMs) are an important class of probabilistic models, also known as random fields and undirected graphical models. EBMs are un-normalized and thus radically different from other popular self-normalized probabilistic models such as hidden Markov models (HMMs), autoregressive models, generative adversarial nets (GANs) and variational auto-encoders (VAEs). Over the past years, EBMs have attracted increasing interest not only from the core machine learning community, but also from application domains such as speech, vision, natural language processing (NLP) and so on, due to significant theoretical and algorithmic progress. The sequential nature of speech and language also presents special challenges and needs a different treatment from processing fix-dimensional data (e.g., images). Therefore, the purpose of this monograph is to present a systematic introduction to energy-based models, including both algorithmic progress and applications in speech and language processing. First, the basics of EBMs are introduced, including classic models, recent models parameterized by neural networks, sampling methods, and various learning methods from the classic learning algorithms to the most advanced ones. Then, the application of EBMs in three different scenarios is presented, i.e., for modeling marginal, conditional and joint distributions, respectively. 1) EBMs for sequential data with applications in language modeling, where the main focus is on the marginal distribution of a sequence itself; 2) EBMs for modeling conditional distributions of target sequences given observation sequences, with applications in speech recognition, sequence labeling and text generation; 3) EBMs for modeling joint distributions of both sequences of observations and targets, and their applications in semi-supervised learning and calibrated natural language understanding.
- Abstract（参考訳）: エネルギーベースモデル(Energy-Based Models、EBMs)は確率モデルの重要なクラスであり、ランダムフィールドや非方向グラフィカルモデルとも呼ばれる。
EBMは非正規化されており、隠れマルコフモデル(HMM)、自己回帰モデル、生成逆数ネット(GAN)、変動自己エンコーダ(VAE)といった他の一般的な自己正規化確率モデルとは根本的に異なる。
過去数年間、ESMは、コア機械学習コミュニティだけでなく、言語、ビジョン、自然言語処理(NLP)といったアプリケーションドメインからも関心を集めてきた。
音声と言語のシーケンシャルな性質は、特別な課題を示し、固定次元データ(例えば画像)の処理とは異なる処理を必要とする。
したがって,本モノグラフの目的は,アルゴリズムの進歩と音声処理および言語処理への応用を含む,エネルギーモデルへの体系的な導入を提供することである。
まず、従来のモデル、ニューラルネットワークでパラメータ化された最近のモデル、サンプリング方法、古典的な学習アルゴリズムから最も高度な学習方法など、ESMの基本を紹介します。
次に,3つのシナリオ,すなわち境界分布,条件分布,関節分布のモデリングに適用する。
1) 逐次データと言語モデリングの応用のための EBM であって,その主な焦点は,シーケンス自体の限界分布である。
2) 対象シーケンスの条件分布をモデル化するためのEMMとその音声認識,シーケンスラベリング,テキスト生成への応用
3)観察対象と観測対象の双方の連関分布をモデル化するためのEMMとその半教師付き学習・校正自然言語理解への応用
関連論文リスト
- Amortized Probabilistic Conditioning for Optimization, Simulation and Inference [20.314865219675056]
Amortized Conditioning Engine (ACE)
興味のある潜伏変数を明示的に表現するトランスフォーマーベースのメタラーニングモデル。
ACEは、観測されたデータと解釈可能な潜伏変数の両方、実行時のプリエントを含めることができ、離散的かつ連続的なデータと潜伏変数の予測分布を出力する。
論文 参考訳（メタデータ） (2024-10-20T07:22:54Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Generative Marginalization Models [21.971818180264943]
境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。
それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。
エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
論文 参考訳（メタデータ） (2023-10-19T17:14:29Z) - Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。
EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。
本研究では,協調拡散回復可能性 (CDRL) を提案する。
論文 参考訳（メタデータ） (2023-09-10T22:05:24Z) - Exploring Energy-based Language Models with Different Architectures and
Training Methods for Speech Recognition [23.970716487502273]
エネルギーベース言語モデル(ELM)は、自然文の非正規化分布をパラメータ化する。
本稿では,エネルギ関数の異なるアーキテクチャと異なるトレーニング手法について検討し,音声認識におけるEMMの能力について検討する。
論文 参考訳（メタデータ） (2023-05-22T03:28:48Z) - An Overview on Language Models: Recent Developments and Outlook [32.528770408502396]
従来の言語モデル(CLM)は、因果的に言語シーケンスの確率を予測することを目的としている。
事前学習言語モデル(PLM)はより広範な概念をカバーし、因果逐次モデリングと下流アプリケーションのための微調整の両方に使用することができる。
論文 参考訳（メタデータ） (2023-03-10T07:55:00Z) - MAUVE Scores for Generative Models: Theory and Practice [95.86006777961182]
本報告では,テキストや画像の生成モデルで発生するような分布のペア間の比較尺度であるMAUVEについて述べる。
我々は、MAUVEが人間の文章の分布と現代のニューラル言語モデルとのギャップを定量化できることを発見した。
我々は、MAUVEが既存のメトリクスと同等以上の画像の既知の特性を識別できることを視覚領域で実証する。
論文 参考訳（メタデータ） (2022-12-30T07:37:40Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳（メタデータ） (2022-12-20T13:20:21Z) - $\mathcal{F}$-EBM: Energy Based Learning of Functional Data [1.0896567381206714]
エネルギーベースモデル (EBMs) は有限次元空間上の密度をモデル化するための非常に効果的なアプローチであることが証明されている。
有限個の点で評価された関数サンプルから関数の分布を学習できる新しいEMMのクラスを提案する。
論文 参考訳（メタデータ） (2022-02-04T01:01:50Z) - Exposing the Implicit Energy Networks behind Masked Language Models via
Metropolis--Hastings [57.133639209759615]
我々は,エネルギーに基づくシーケンスモデルとしてシーケンスを解釈し,訓練者から導出される2つのエネルギーパラメトリゼーションを提案する。
我々はメトロポリス・ハスティングス・モンテカルロのアルゴリズムに基づく抽出可能なエンフスキームを開発した。
提案手法の有効性を,これらのエネルギーモデルから得られた試料の品質を探索することによって検証する。
論文 参考訳（メタデータ） (2021-06-04T22:04:30Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳（メタデータ） (2020-12-18T15:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。