論文の概要: In-sample Curriculum Learning by Sequence Completion for Natural Language Generation

• arxiv url: http://arxiv.org/abs/2211.11297v2
• Date: Tue, 23 May 2023 08:40:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:04:16.576779
• Title: In-sample Curriculum Learning by Sequence Completion for Natural Language Generation
• Title（参考訳）: 自然言語生成のためのシーケンス補完によるインサンプルカリキュラム学習
• Authors: Qi Jia, Yizhu Liu, Haifeng Tang, Kenny Q. Zhu
• Abstract要約: カリキュラム学習は、簡単なサンプルから難しいサンプルまで、機械学習モデルをトレーニングすることで、複数のドメインで有望な改善を示している。 そこで本研究では,自然言語生成タスクのインサンプルカリキュラム学習を提案する。
• 参考スコア（独自算出の注目度）: 12.083992819138716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning has shown promising improvements in multiple domains by training machine learning models from easy samples to hard ones. Previous works which either design rules or train models for scoring the difficulty highly rely on task-specific expertise, and cannot generalize. Inspired by the "easy-to-hard" intuition, we propose to do in-sample curriculum learning for natural language generation tasks. Our learning strategy starts training the model to generate the last few words, i.e., do sequence completion, and gradually extends to generate the whole output sequence. Comprehensive experiments show that it generalizes well to different tasks and achieves significant improvements over strong baselines.
• Abstract（参考訳）: カリキュラム学習は、簡単なサンプルから難しいものまで機械学習モデルをトレーニングすることで、複数のドメインで有望な改善が示されている。 タスク固有の専門知識に非常に依存し、一般化できない難易度を評価するためのルールやトレーニングモデルを設計する以前の作品。 難解な」直観に触発されて,自然言語生成タスクにサンプル内カリキュラム学習を行うことを提案する。 私たちの学習戦略は、最後の数単語、すなわちシーケンス完了を生成するようにモデルをトレーニングし始め、徐々に拡大して出力シーケンス全体を生成します。 総合的な実験により、様々なタスクを一般化し、強いベースラインよりも大幅に改善されていることが示されている。

関連論文リスト

• Meta-Learning Neural Procedural Biases [9.876317838854018]
  我々は、メタ学習タスクの手続きバイアスを考慮に入れた新しいフレームワークであるNeural Procedural Bias Meta-Learningを提案する。 ニューラルネットワークの手続き的バイアスをメタラーニングすることにより、学習タスクの分布に対して強い帰納的バイアスを生じさせ、よく確立された数発の学習ベンチマークで堅牢な学習性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-06-12T08:09:29Z)
• From Symbolic Tasks to Code Generation: Diversification Yields Better Task Performers [1.6958018695660049]
  コードに関連するタスクを超えて、より多様な命令セットがコード生成のパフォーマンスを向上させることを示す。 我々の観察から,命令調整セットのより多様な意味空間が,命令に従う能力とタスクの実行能力を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-05-30T07:54:07Z)
• EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
  訓練カリキュラムをソフトセレクション機能として再構築する。 自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。 結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
  論文  参考訳（メタデータ） (2024-05-14T17:00:43Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• Ask Your Humans: Using Human Instructions to Improve Generalization in Reinforcement Learning [32.82030512053361]
  本研究では、自然言語の指示や行動軌跡の形で、ステップバイステップの人間の実演を行うことを提案する。 人間のデモは、最も複雑なタスクを解決するのに役立ちます。 また、自然言語を組み込むことで、ゼロショット設定で未確認のタスクを一般化できることがわかった。
  論文  参考訳（メタデータ） (2020-11-01T14:39:46Z)
• Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
  マルチモーダル空間における条件生成のための新しい枠組みを提案する。 潜在変数を使って一般化可能な学習パターンをモデル化する。 推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
  論文  参考訳（メタデータ） (2020-10-07T03:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。