論文の概要: End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems

• arxiv url: http://arxiv.org/abs/2010.06028v1
• Date: Mon, 12 Oct 2020 21:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 07:09:12.288805
• Title: End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
• Title（参考訳）: 質問応答システムのドメイン適応のためのエンドツーエンド合成データ生成
• Authors: Siamak Shakeri, Cicero Nogueira dos Santos, Henry Zhu, Patrick Ng, Feng Nan, Zhiguo Wang, Ramesh Nallapati, Bing Xiang
• Abstract要約: 本モデルでは,1つのトランスをベースとしたエンコーダデコーダネットワークをエンドツーエンドにトレーニングし,問合せと問合せの両方を生成する。 簡単に言えば、エンコーダにパスを与え、デコーダに質問と回答トークンをtokenで生成するよう依頼する。
• 参考スコア（独自算出の注目度）: 34.927828428293864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an end-to-end approach for synthetic QA data generation. Our model comprises a single transformer-based encoder-decoder network that is trained end-to-end to generate both answers and questions. In a nutshell, we feed a passage to the encoder and ask the decoder to generate a question and an answer token-by-token. The likelihood produced in the generation process is used as a filtering score, which avoids the need for a separate filtering model. Our generator is trained by fine-tuning a pretrained LM using maximum likelihood estimation. The experimental results indicate significant improvements in the domain adaptation of QA models outperforming current state-of-the-art methods.
• Abstract（参考訳）: 合成QAデータ生成のためのエンドツーエンドアプローチを提案する。 本モデルでは,1つのトランスをベースとしたエンコーダデコーダネットワークをエンドツーエンドにトレーニングし,問合せと問合せの両方を生成する。 一言で言えば、私たちはエンコーダにパスを送付し、デコーダに質問と回答のトークンを生成するように依頼します。 生成過程において生じる確率は、分離されたフィルタリングモデルの必要性を避けるフィルタリングスコアとして使用される。 我々の発電機は、最大推定値を用いて予め訓練されたLMを微調整することで訓練される。 実験結果から,QAモデルの領域適応性は現在の最先端手法よりも向上したことが示された。

関連論文リスト

• Predictive Maintenance Model Based on Anomaly Detection in Induction Motors: A Machine Learning Approach Using Real-Time IoT Data [0.0]
  本研究では,ポンプ,圧縮機,ファン,その他の産業機械で使用される誘導電動機の異常検出システムについて紹介する。 我々は、計算コストの低い前処理技術と機械学習(ML)モデルの組み合わせを用いる。
  論文  参考訳（メタデータ） (2023-10-15T18:43:45Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Hyperdecoders: Instance-specific decoders for multi-task NLP [9.244884318445413]
  NLPにおけるマルチタスクのための入力条件付きハイパーネットワークについて検討する。 我々は,エンコーダの出力に条件付きハイパーネットワークを用いて,デコーダのパラメータ効率適応を生成する。
  論文  参考訳（メタデータ） (2022-03-15T22:39:53Z)
• Disentangling Autoencoders (DAE) [0.0]
  本稿では,グループ理論における対称性変換の原理に基づく,オートエンコーダのための新しいフレームワークを提案する。 我々は,このモデルが正規化不要なオートエンコーダに基づく非絡み合い学習の新たな分野を導くと信じている。
  論文  参考訳（メタデータ） (2022-02-20T22:59:13Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)
• Batch norm with entropic regularization turns deterministic autoencoders into generative models [14.65554816300632]
  変分オートエンコーダはよく定義された深部生成モデルである。 本研究では、非決定論の情報源としてバッチ正規化を利用することで、決定論的オートエンコーダを生成モデルに変換するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-25T02:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。