Fugu-MT 論文翻訳(概要): Denoising Pre-Training and Data Augmentation Strategies for Enhanced RDF Verbalization with Transformers

論文の概要: Denoising Pre-Training and Data Augmentation Strategies for Enhanced RDF Verbalization with Transformers

arxiv url: http://arxiv.org/abs/2012.00571v1
Date: Tue, 1 Dec 2020 15:25:47 GMT
ステータス: 処理完了
システム内更新日: 2021-05-30 19:53:47.511929
Title: Denoising Pre-Training and Data Augmentation Strategies for Enhanced RDF Verbalization with Transformers
Title（参考訳）: 変圧器を用いたRDFバーバリゼーション向上のための事前学習とデータ拡張戦略
Authors: Sebastien Montella, Betty Fabre, Tanguy Urvoy, Johannes Heinecke, Lina Rojas-Barahona
Abstract要約: RDF三重項の形式主義は、事実を大規模に保存する単純かつ効率的な方法である。本稿では,データ拡張戦略を用いて,拡張データからの事前学習をTransformerモデルで活用することを提案する。
参考スコア（独自算出の注目度）: 0.8837172743444252
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of verbalization of RDF triples has known a growth in popularity due to the rising ubiquity of Knowledge Bases (KBs). The formalism of RDF triples is a simple and efficient way to store facts at a large scale. However, its abstract representation makes it difficult for humans to interpret. For this purpose, the WebNLG challenge aims at promoting automated RDF-to-text generation. We propose to leverage pre-trainings from augmented data with the Transformer model using a data augmentation strategy. Our experiment results show a minimum relative increases of 3.73%, 126.05% and 88.16% in BLEU score for seen categories, unseen entities and unseen categories respectively over the standard training.
Abstract（参考訳）: RDF三重項の動詞化の課題は、知識ベース(KB)の普及により人気が高まっていることが知られている。 RDF三重項の形式主義は、事実を大規模に保存する単純かつ効率的な方法である。しかし、その抽象表現は人間の解釈を困難にしている。この目的のために、WebNLGの課題は、RDF-to-text生成の自動化である。本稿では,データ拡張戦略を用いて,拡張データからの事前学習をTransformerモデルで活用することを提案する。実験の結果, BLEUでは, 標準トレーニングよりも最低相対比が3.73%, 126.05%, 88.16%上昇した。

関連論文リスト

Guided Diffusion-based Counterfactual Augmentation for Robust Session-based Recommendation [11.890250056463914]
セッションベースのレコメンデーション(SR)モデルは、現在のセッション中のユーザの振る舞いに基づいて、トップKアイテムをユーザに推奨することを目的としている。文献ではいくつかのSRモデルが提案されているが、トレーニングデータの固有のバイアスに対する感受性に関する懸念が提起されている。本稿では,SRのための拡散に基づく反ファクト拡張フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T09:36:59Z)
Data Augmentation for Traffic Classification [54.92823760790628]
Data Augmentation (DA) はコンピュータビジョン(CV)と自然言語処理(NLP)に広く採用されている技術である。 DAはネットワークのコンテキスト、特にトラフィック分類(TC)タスクにおいて、牽引力を得るのに苦労しています。
論文参考訳（メタデータ） (2024-01-19T15:25:09Z)
F3-Pruning: A Training-Free and Generalized Pruning Strategy towards Faster and Finer Text-to-Video Synthesis [94.10861578387443]
変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
論文参考訳（メタデータ） (2023-12-06T12:34:47Z)
ReGen: Zero-Shot Text Classification via Training Data Generation with Progressive Dense Retrieval [22.882301169283323]
一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。 9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
論文参考訳（メタデータ） (2023-05-18T04:30:09Z)
Adversarial Word Dilution as Text Data Augmentation in Low-Resource Regime [35.95241861664597]
本稿では,テキストデータ拡張として強烈な正の例を生成できる逆単語解法(AWD)を提案する。テキストデータの増大という考え方は、未知語埋め込みと重み付けして強正語の埋め込みを減らすことである。 3つのベンチマークデータセットに関する実証研究により、AWDはより効果的なデータ拡張を生成でき、最先端のテキストデータ拡張手法より優れていることが示された。
論文参考訳（メタデータ） (2023-05-16T08:46:11Z)
Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
論文参考訳（メタデータ） (2023-04-26T10:36:40Z)
Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
論文参考訳（メタデータ） (2022-05-31T10:35:55Z)
RDF-to-Text Generation with Reinforcement Learning Based Graph-augmented Structural Neural Encoders [34.774049199809426]
本稿では, RDF三重項における局所構造情報と大域構造情報の両方を学習するために, 2つのグラフ拡張構造型ニューラルエンコーダを組み合わせたモデルを提案する。テキストの忠実性をさらに向上するため,情報抽出に基づく強化学習報酬を革新的に導入する。
論文参考訳（メタデータ） (2021-11-20T08:41:54Z)
Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。 VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文参考訳（メタデータ） (2021-09-13T09:15:28Z)
Guided Interpolation for Adversarial Training [73.91493448651306]
トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
論文参考訳（メタデータ） (2021-02-15T03:55:08Z)
A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。