Fugu-MT 論文翻訳(概要): Beyond In-Place Corruption: Insertion and Deletion In Denoising Probabilistic Models

論文の概要: Beyond In-Place Corruption: Insertion and Deletion In Denoising Probabilistic Models

arxiv url: http://arxiv.org/abs/2107.07675v1
Date: Fri, 16 Jul 2021 02:50:10 GMT
ステータス: 処理完了
システム内更新日: 2021-07-19 14:36:31.681867
Title: Beyond In-Place Corruption: Insertion and Deletion In Denoising Probabilistic Models
Title（参考訳）: 地中汚職を超えて--確率モデルにおける挿入と削除
Authors: Daniel D. Johnson, Jacob Austin, Rianne van den Berg, Daniel Tarlow
Abstract要約: 我々は、より広範な汚職プロセスのクラスと、シーケンスデータに対するモデルのデノベーションについて検討する。計算シーケンスタスクにおいて,これらのモデルが標準位置モデルより優れていることを示す。
参考スコア（独自算出の注目度）: 18.623844926350674
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Denoising diffusion probabilistic models (DDPMs) have shown impressive results on sequence generation by iteratively corrupting each example and then learning to map corrupted versions back to the original. However, previous work has largely focused on in-place corruption, adding noise to each pixel or token individually while keeping their locations the same. In this work, we consider a broader class of corruption processes and denoising models over sequence data that can insert and delete elements, while still being efficient to train and sample from. We demonstrate that these models outperform standard in-place models on an arithmetic sequence task, and that when trained on the text8 dataset they can be used to fix spelling errors without any fine-tuning.
Abstract（参考訳）: denoising diffusion probabilistic models (ddpms) は、各例を反復的に分解し、崩壊したバージョンを元のものにマッピングする学習によって、シーケンス生成において印象的な結果を示している。しかし、以前の研究は主に場所の汚職に焦点を当てており、それぞれのピクセルやトークンにノイズを加え、位置を同じに保っている。本研究では,要素の挿入・削除が可能なシーケンスデータに対して,より広範な汚職プロセスやモデルについて検討する。これらのモデルは算術シーケンスタスクにおいて標準のインプレースモデルよりも優れており、text8データセットでトレーニングされた場合、微調整なしでスペルエラーを修正することができる。

関連論文リスト

ConsistencyDet: A Robust Object Detector with a Denoising Paradigm of Consistency Model [28.193325656555803]
本稿では,物体検出を認知拡散過程として記述するための新しいフレームワークを提案する。 ConsistencyDetと呼ばれるこのフレームワークは、Consistency Modelとして知られる革新的な概念を活用している。我々は、ConsistencyDetがパフォーマンス指標で他の最先端検出器を上回っていることを示す。
論文参考訳（メタデータ） (2024-04-11T14:08:45Z)
Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文参考訳（メタデータ） (2023-09-18T09:36:24Z)
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文参考訳（メタデータ） (2023-06-08T17:59:58Z)
Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文参考訳（メタデータ） (2022-12-20T00:33:11Z)
Denoising after Entropy-based Debiasing A Robust Training Method for Dataset Bias with Noisy Labels [12.335698325757491]
エントロピーに基づくデバイアス(debiasing),すなわちDNEB(denoising)と呼ばれる3つの主要なステージを持つアプローチを提案する。復調前の復調アルゴリズムの実行は、復調アルゴリズムが難読化サンプルの影響を減少させるため、効果がないことが判明した。
論文参考訳（メタデータ） (2022-12-01T04:34:59Z)
Unsupervised Visual Defect Detection with Score-Based Generative Model [17.610722842950555]
我々は、教師なしの視覚的欠陥検出とローカライゼーションタスクに焦点をあてる。近年のスコアベース生成モデルに基づく新しいフレームワークを提案する。提案手法を複数のデータセット上で評価し,その有効性を実証する。
論文参考訳（メタデータ） (2022-11-29T11:06:29Z)
From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
論文参考訳（メタデータ） (2022-11-07T14:34:27Z)
DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
論文参考訳（メタデータ） (2022-10-30T16:55:23Z)
Thutmose Tagger: Single-pass neural model for Inverse Text Normalization [76.87664008338317]
逆テキスト正規化(ITN)は自動音声認識において重要な後処理ステップである。本稿では,ITN例の粒度アライメントに基づくデータセット作成手法を提案する。タグと入力語との1対1対応により、モデルの予測の解釈性が向上する。
論文参考訳（メタデータ） (2022-07-29T20:39:02Z)
Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data [1.7474352892977458]
道路走行シーンとリモートセンシング画像における分布外異常の検出方法を示す。我々は,カバレッジ指向学習の目的と異なる解像度でサンプルを生成する能力により,共同で訓練された正規化フローを活用する。結果として得られたモデルは、道路走行シーンとリモートセンシング画像におけるアウト・オブ・ディストリビューション検出のためのベンチマークに、新たな技術状況を設定した。
論文参考訳（メタデータ） (2021-12-23T20:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。