論文の概要: Does the Order of Training Samples Matter? Improving Neural Data-to-Text Generation with Curriculum Learning

• arxiv url: http://arxiv.org/abs/2102.03554v1
• Date: Sat, 6 Feb 2021 10:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 05:36:58.787808
• Title: Does the Order of Training Samples Matter? Improving Neural Data-to-Text Generation with Curriculum Learning
• Title（参考訳）: トレーニングサンプルの順序は重要ですか? カリキュラム学習によるニューラルデータ対テキスト生成の改善
• Authors: Ernie Chang, Hui-Syuan Yeh, Vera Demberg
• Abstract要約: トレーニングサンプルの順序を変更することでテキスト生成システムを改善する努力が続けられている。 ベンチマークでは,トレーニング時間を38.7%削減し,性能を4.84BLEUで向上する,より高速な収束速度を示す。
• 参考スコア（独自算出の注目度）: 6.098616716213235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in data-to-text generation largely take on the form of neural end-to-end systems. Efforts have been dedicated to improving text generation systems by changing the order of training samples in a process known as curriculum learning. Past research on sequence-to-sequence learning showed that curriculum learning helps to improve both the performance and convergence speed. In this work, we delve into the same idea surrounding the training samples consisting of structured data and text pairs, where at each update, the curriculum framework selects training samples based on the model's competence. Specifically, we experiment with various difficulty metrics and put forward a soft edit distance metric for ranking training samples. Our benchmarks show faster convergence speed where training time is reduced by 38.7% and performance is boosted by 4.84 BLEU.
• Abstract（参考訳）: 最近のデータ・トゥ・テキスト生成の進歩は、主にニューラルネットワークのエンド・ツー・エンド・システムの形態をとっている。 カリキュラム学習と呼ばれるプロセスでサンプルをトレーニングする順序を変えることで、テキスト生成システムの改善に尽力しています。 シーケンス間学習に関する過去の研究では、カリキュラム学習がパフォーマンスと収束速度の両方を改善するのに役立つことが示された。 本研究では,構造化データとテキストペアからなるトレーニングサンプルを取り囲む同じアイデアを検討し,各更新において,カリキュラムフレームワークがモデルの能力に基づいてトレーニングサンプルを選択する。 具体的には,様々な難易度尺度を実験し,ソフトな編集距離尺度をトレーニングサンプルのランク付けに用いた。 ベンチマークでは,トレーニング時間を38.7%削減し,性能を4.84BLEUで向上する,より高速な収束速度を示す。

関連論文リスト

• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Benchmarking Neural Network Training Algorithms [46.39165332979669]
  トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-06-12T15:21:02Z)
• Effective Vision Transformer Training: A Data-Centric Perspective [24.02488085447691]
  視覚変換器(ViT)は畳み込みニューラルネットワーク(CNN)と比較して有望な性能を示した 本稿では,DDP(Dynamic Data Proportion)やKAR(Knowledge Assimilation Rate)など,いくつかの指標を定義する。 トレーニングサンプルの難易度を動的に測定し,異なるトレーニング段階におけるモデルに対する効果的なサンプルを生成するための,新しいデータ中心型ViTトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:46Z)
• Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
  本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。 4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
  論文  参考訳（メタデータ） (2022-08-11T13:15:36Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Spatial Transformer Networks for Curriculum Learning [6.107943372244105]
  我々は,Spatial Transformer Networks (STNs) からインスピレーションを得て,容易にハードなカリキュラムを構築する。 乱雑なMNISTとFashion-MNISTデータセットについて様々な実験を行った。
  論文  参考訳（メタデータ） (2021-08-22T12:04:55Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping [62.78338049381917]
  教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。 GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。 これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
  論文  参考訳（メタデータ） (2020-02-15T02:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。