Fugu-MT 論文翻訳(概要): Fine-grained Contrastive Learning for Definition Generation

論文の概要: Fine-grained Contrastive Learning for Definition Generation

arxiv url: http://arxiv.org/abs/2210.00543v1
Date: Sun, 2 Oct 2022 14:55:01 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 15:08:48.937320
Title: Fine-grained Contrastive Learning for Definition Generation
Title（参考訳）: 定義生成のための微粒なコントラスト学習
Authors: Hengyuan Zhang, Dawei Li, Shiping Yang, Yanran Li
Abstract要約: 従来のエンコーダ・デコーダモデルは、与えられた単語の完全な意味的要素を含む効果的な表現学習を欠いていた。そこで本研究では,定義シーケンスエンコーディングからより詳細な意味表現を抽出することをモデルに推奨する,新しいコントラスト学習手法を提案する。
参考スコア（独自算出の注目度）: 10.549051541793544
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, pre-trained transformer-based models have achieved great success in the task of definition generation (DG). However, previous encoder-decoder models lack effective representation learning to contain full semantic components of the given word, which leads to generating under-specific definitions. To address this problem, we propose a novel contrastive learning method, encouraging the model to capture more detailed semantic representations from the definition sequence encoding. According to both automatic and manual evaluation, the experimental results on three mainstream benchmarks demonstrate that the proposed method could generate more specific and high-quality definitions compared with several state-of-the-art models.
Abstract（参考訳）: 近年、事前訓練されたトランスフォーマーベースモデルは、定義生成(DG)タスクにおいて大きな成功を収めている。しかし、従来のエンコーダ・デコーダモデルでは、与えられた単語の完全な意味的要素を含む効果的な表現学習が欠如しており、不特定な定義が生成される。この問題に対処するために,定義シーケンスエンコーディングからより詳細な意味表現を抽出することをモデルに推奨する,新しいコントラスト学習手法を提案する。自動評価と手動評価の両方により、3つの主流ベンチマークの実験結果から,提案手法がいくつかの最先端モデルと比較して,より具体的で高品質な定義を生成可能であることが示された。

関連論文リスト

Vector-Quantized Prompt Learning for Paraphrase Generation [18.40940464497253]
本稿では、事前学習されたモデルにインスタンス依存のプロンプトを組み込むことにより、多種多様な高品質なパラフレーズを生成することを提案する。大規模な実験により,提案手法は3つのベンチマークデータセットに対して新たな最先端結果が得られることを示した。
論文参考訳（メタデータ） (2023-11-25T07:13:06Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Sequence-to-Sequence Pre-training with Unified Modality Masking for Visual Document Understanding [3.185382039518151]
GenDocは、3つのモードにわたる統一マスキングで事前訓練されたシーケンスからシーケンスまでの文書理解モデルである。提案手法はエンコーダ・デコーダアーキテクチャを用いて,幅広い下流タスクへの適応性を向上する。
論文参考訳（メタデータ） (2023-05-16T15:25:19Z)
Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
生成的視点から深層離散表現を学習する。我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
論文参考訳（メタデータ） (2023-02-12T13:51:36Z)
Learning Disentangled Representations for Natural Language Definitions [0.0]
テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
論文参考訳（メタデータ） (2022-09-22T14:31:55Z)
Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文参考訳（メタデータ） (2022-06-30T18:31:51Z)
Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
論文参考訳（メタデータ） (2022-03-07T15:28:36Z)
Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文参考訳（メタデータ） (2021-11-10T07:07:54Z)
Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文参考訳（メタデータ） (2021-10-21T13:04:21Z)
Generating Diverse Descriptions from Semantic Graphs [38.28044884015192]
アンデコーダモデルに潜在変数を組み込んだグラフ・トゥ・テキストモデルとそのアンサンブルでの使用について述べる。我々は,様々な文の集合を生成するモデル群を,最先端のモデルに類似した品質を維持しながら示す。我々は、WebNLGのデータセットを英語とロシア語で評価し、様々な文の集合を生成するモデルの集合を示すとともに、最先端のモデルに類似した品質を維持している。
論文参考訳（メタデータ） (2021-08-12T11:00:09Z)
Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。