Fugu-MT 論文翻訳(概要): Zero-Shot Translation using Diffusion Models

論文の概要: Zero-Shot Translation using Diffusion Models

arxiv url: http://arxiv.org/abs/2111.01471v1
Date: Tue, 2 Nov 2021 10:14:17 GMT
ステータス: 処理完了
システム内更新日: 2021-11-03 19:55:30.264776
Title: Zero-Shot Translation using Diffusion Models
Title（参考訳）: 拡散モデルを用いたゼロショット翻訳
Authors: Eliya Nachmani, Shaked Dovrat
Abstract要約: そこで本研究では,原文に条件付き拡散モデルを用いて,非自己回帰的に文を翻訳できることを示す。また、トレーニング中に見つからない言語のペア間でモデルを変換できることも示しています。
参考スコア（独自算出の注目度）: 16.39683357703568
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we show a novel method for neural machine translation (NMT), using a denoising diffusion probabilistic model (DDPM), adjusted for textual data, following recent advances in the field. We show that it's possible to translate sentences non-autoregressively using a diffusion model conditioned on the source sentence. We also show that our model is able to translate between pairs of languages unseen during training (zero-shot learning).
Abstract（参考訳）: 本研究では,近年の分野の発展に伴い,テキストデータに適応した拡散確率モデル(DDPM)を用いたニューラルマシン翻訳(NMT)の新たな手法を提案する。原文に条件付けられた拡散モデルを用いて,非回帰的に文を翻訳することが可能であることを示す。また、トレーニング中に見つからない言語(ゼロショット学習)のペア間でモデルを変換できることも示しています。

関連論文リスト

Generative Modeling with Bayesian Sample Inference [50.07758840675341]
我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
論文参考訳（メタデータ） (2025-02-11T14:27:10Z)
Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
論文参考訳（メタデータ） (2024-10-23T14:04:22Z)
Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文参考訳（メタデータ） (2023-11-01T12:17:05Z)
XDLM: Cross-lingual Diffusion Language Model for Machine Translation [0.0]
本稿では,事前学習と微調整の段階からなる機械翻訳のための新しい言語間拡散モデルを提案する。いくつかの機械翻訳ベンチマークで結果を評価し,拡散ベースラインとトランスフォーマーベースラインを比較検討した。
論文参考訳（メタデータ） (2023-07-25T15:08:34Z)
Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
論文参考訳（メタデータ） (2023-05-18T05:41:36Z)
A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
論文参考訳（メタデータ） (2023-04-10T17:58:42Z)
DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
論文参考訳（メタデータ） (2022-11-28T03:25:49Z)
UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models [19.499490172426427]
そこで本研究では, 拡散確率モデルを用いた非対比画像・画像変換手法を提案する。拡散確率モデル(UNIT-DDPM)を用いたUnpaired Image Translation with Denoising Diffusion Probabilistic Models (UNT-DDPM) は,両領域の画像の共同分布をマルコフ鎖として推定する生成モデルを訓練する。
論文参考訳（メタデータ） (2021-04-12T11:22:56Z)
Generating Diverse Translation from Model Distribution with Dropout [13.223158914896727]
ベイジアンモデルとサンプリングモデルを用いた多種多様なモデルを推論のために導出することで、多種多様な翻訳を生成することを提案する。本研究では,中国語・英語・ドイツ語の翻訳課題について実験を行った結果,多様性と精度のトレードオフが良好であることが確認された。
論文参考訳（メタデータ） (2020-10-16T05:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。