Fugu-MT 論文翻訳(概要): Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data

論文の概要: Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data

arxiv url: http://arxiv.org/abs/2011.03877v1
Date: Sun, 8 Nov 2020 00:38:08 GMT
ステータス: 処理完了
システム内更新日: 2022-09-28 08:29:23.965058
Title: Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Less Data
Title（参考訳）: NLGにおけるデータ効率モデリングのベストプラクティス:少ないデータで生産可能なニューラルモデルをトレーニングする方法
Authors: Ankit Arun, Soumya Batra, Vikas Bhardwaj, Ashwini Challa, Pinar Donmez, Peyman Heidari, Hakan Inan, Shashank Jain, Anuj Kumar, Shawn Mei, Karthik Mohan, Michael White
Abstract要約: 自然言語生成(NLG)は会話システムにおいて重要な要素である。我々は,対話型システムにおけるNLGのためのデータ効率のよいニューラルソリューションの運用を支援するアプローチを提案する。
参考スコア（独自算出の注目度）: 7.0931759286042855
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Natural language generation (NLG) is a critical component in conversational systems, owing to its role of formulating a correct and natural text response. Traditionally, NLG components have been deployed using template-based solutions. Although neural network solutions recently developed in the research community have been shown to provide several benefits, deployment of such model-based solutions has been challenging due to high latency, correctness issues, and high data needs. In this paper, we present approaches that have helped us deploy data-efficient neural solutions for NLG in conversational systems to production. We describe a family of sampling and modeling techniques to attain production quality with light-weight neural network models using only a fraction of the data that would be necessary otherwise, and show a thorough comparison between each. Our results show that domain complexity dictates the appropriate approach to achieve high data efficiency. Finally, we distill the lessons from our experimental findings into a list of best practices for production-level NLG model development, and present them in a brief runbook. Importantly, the end products of all of the techniques are small sequence-to-sequence models (2Mb) that we can reliably deploy in production.
Abstract（参考訳）: 自然言語生成(NLG)は、正しい自然なテキスト応答を定式化する役割のため、会話システムにおいて重要な要素である。従来、NLGコンポーネントはテンプレートベースのソリューションを使用してデプロイされていた。研究コミュニティで最近開発されたニューラルネットワークソリューションは、いくつかの利点をもたらすことが示されているが、そのようなモデルベースのソリューションの配置は、高いレイテンシ、正確性の問題、高いデータニーズのために困難だった。本稿では,対話型システムにおけるNLGのためのデータ効率のよいニューラルソリューションの運用を支援するアプローチを提案する。我々は、必要となるデータのごく一部しか使用せず、軽量ニューラルネットワークモデルで生産品質を達成するためのサンプリングおよびモデリング手法のファミリーを説明し、両者の徹底的な比較を示す。その結果、ドメインの複雑さは、高いデータ効率を達成するための適切なアプローチを決定づけることを示しています。最後に,実験から得た教訓を,製品レベルのnlgモデル開発におけるベストプラクティスの一覧にまとめ,簡単なランブックで紹介する。重要なことに、すべての技術の最終製品は、プロダクションに確実にデプロイできる小さなシーケンシャル・ツー・シーケンス・モデル(2mb)です。

関連論文リスト

Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文参考訳（メタデータ） (2024-10-31T07:28:22Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Downstream Task-Oriented Generative Model Selections on Synthetic Data Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文参考訳（メタデータ） (2024-01-01T23:33:56Z)
Explicit Foundation Model Optimization with Self-Attentive Feed-Forward Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文参考訳（メタデータ） (2023-11-13T17:55:07Z)
Federated Learning with Neural Graphical Models [2.2721854258621064]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
論文参考訳（メタデータ） (2023-09-20T23:24:22Z)
Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文参考訳（メタデータ） (2023-05-10T11:10:09Z)
Self-augmented Data Selection for Few-shot Dialogue Generation [18.794770678708637]
我々は,MR-to-Text生成問題に対処するために,自己学習フレームワークを採用する。我々は,我々の生成モデルが最も不確実なデータを選択するための新しいデータ選択戦略を提案する。
論文参考訳（メタデータ） (2022-05-19T16:25:50Z)
AUGNLG: Few-shot Natural Language Generation using Self-trained Data Augmentation [26.016540126949103]
本稿では,自己学習型ニューラル検索モデルと数ショット学習型NLUモデルを組み合わせた新しいデータ拡張手法であるAUGNLGを提案する。提案方式はBLEUとSlot Error Rateの両方でFewShotWOZデータの最先端の手法よりも優れている。
論文参考訳（メタデータ） (2021-06-10T08:45:28Z)
Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文参考訳（メタデータ） (2021-04-07T17:59:06Z)
Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。