論文の概要: ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2210.04325v2
- Date: Tue, 11 Oct 2022 03:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 11:10:34.067053
- Title: ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models
- Title（参考訳）: ASDOT:事前訓練された言語モデルによる任意のショットデータ-テキスト生成
- Authors: Jiannan Xiang, Zhengzhong Liu, Yucheng Zhou, Eric P. Xing, Zhiting Hu
- Abstract要約: Any-Shot Data-to-Text (ASDOT)は、多様な設定に柔軟に適用可能な新しいアプローチである。
データ曖昧化と文の融合という2つのステップから構成される。
実験の結果, ASDOT はベースラインよりも顕著な改善が得られた。
- 参考スコア（独自算出の注目度）: 82.63962107729994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-to-text generation is challenging due to the great variety of the input
data in terms of domains (e.g., finance vs sports) or schemata (e.g., diverse
predicates). Recent end-to-end neural methods thus require substantial training
examples to learn to disambiguate and describe the data. Yet, real-world
data-to-text problems often suffer from various data-scarce issues: one may
have access to only a handful of or no training examples, and/or have to rely
on examples in a different domain or schema. To fill this gap, we propose
Any-Shot Data-to-Text (ASDOT), a new approach flexibly applicable to diverse
settings by making efficient use of any given (or no) examples. ASDOT consists
of two steps, data disambiguation and sentence fusion, both of which are
amenable to be solved with off-the-shelf pretrained language models (LMs) with
optional finetuning. In the data disambiguation stage, we employ the prompted
GPT-3 model to understand possibly ambiguous triples from the input data and
convert each into a short sentence with reduced ambiguity. The sentence fusion
stage then uses an LM like T5 to fuse all the resulting sentences into a
coherent paragraph as the final description. We evaluate extensively on various
datasets in different scenarios, including the zero-/few-/full-shot settings,
and generalization to unseen predicates and out-of-domain data. Experimental
results show that ASDOT consistently achieves significant improvement over
baselines, e.g., a 30.81 BLEU gain on the DART dataset under the zero-shot
setting.
- Abstract（参考訳）: データからテキストへの生成は、ドメイン(例えば、金融対スポーツ)やスキーマ(例えば、多様な述語)における入力データの多様さのために困難である。
したがって、最近のエンドツーエンドのニューラルメソッドは、データの曖昧さと記述を学ぶために、かなりのトレーニング例を必要とする。
しかし、実世界のデータ・トゥ・テキストの問題は、しばしば様々なデータ・スカースな問題に悩まされる。
このギャップを埋めるために,任意の(あるいはまったく)例を効率的に利用することにより,多様な設定に柔軟に適用可能な新しいアプローチであるany-shot data-to-text (asdot)を提案する。
ASDOTはデータの曖昧さと文の融合という2つのステップから構成されており、どちらもオプションで微調整された既訓練言語モデル(LM)で解決できる。
データ曖昧化の段階では、入力データから多分曖昧な三重項を理解するためにgpt-3モデルを採用し、曖昧さを低減した短い文に変換する。
文の融合段階は T5 のような LM を用いて、最終的な記述として全ての文をコヒーレントな段落に融合させる。
我々は,0/few/full-shot設定や,未知の述語やアウトオブドメインデータへの一般化など,さまざまなシナリオにおけるさまざまなデータセットを幅広く評価する。
実験結果から、ASDOTはゼロショット設定下でのDARTデータセットでの30.81BLEUゲインなど、ベースラインよりも大幅に改善されていることが示されている。
関連論文リスト
- Data Augmentation for Emotion Detection in Small Imbalanced Text Data [0.0]
課題の1つは、感情で注釈付けされた利用可能なデータセットが不足していることだ。
我々は、小さな不均衡なデータセットに適用した場合に、データ拡張技術が与える影響を正確に調査した。
実験結果から,分類器モデルの訓練に拡張データを用いることで,大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-10-25T21:29:36Z) - Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and
Beyond [93.96982273042296]
視覚言語(VL)理解タスクは、複数の質問を通じて複雑な視覚シーンのモデルによる理解を評価する。
我々は、モデルが様々なVLタスクを適切に理解することなく正しく解決するために、ショートカットとして活用できる2つのデータセットバイアスを特定した。
本稿では,ADS(Adversarial Data Synthesis)を用いて,合成学習データと偏り評価データを生成する。
次に、サンプル内微分に着目して、合成したトレーニングデータ、特に対物データを利用するモデルを支援するために、サンプル内対物訓練(ICT)を導入する。
論文 参考訳（メタデータ） (2023-10-23T08:09:42Z) - Faithful Low-Resource Data-to-Text Generation through Cycle Training [14.375070014155817]
近年,構造化データからテキストを生成する手法が大幅に進歩している。
サイクルトレーニングでは、互いに逆転する2つのモデルを使用する。
サイクルトレーニングが完全に教師付きアプローチとほぼ同等のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-05-24T06:44:42Z) - Multilevel Sentence Embeddings for Personality Prediction [0.0]
文の階層構造と極性に応じて,文をマッピングする2段階のアプローチを提案する。
我々の単一モデルアプローチは、複数のクラス固有の分類モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-05-09T20:02:18Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳（メタデータ） (2023-03-29T17:03:21Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。
我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
論文 参考訳（メタデータ） (2022-05-19T16:25:50Z) - Fine-Grained Scene Graph Generation with Data Transfer [127.17675443137064]
シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。
最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。
そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
論文 参考訳（メタデータ） (2022-03-22T12:26:56Z) - Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。
自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。
我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
論文 参考訳（メタデータ） (2020-10-03T03:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。