論文の概要: Improving Autoregressive Training with Dynamic Oracles

• arxiv url: http://arxiv.org/abs/2406.09393v1
• Date: Thu, 13 Jun 2024 17:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:06:12.811860
• Title: Improving Autoregressive Training with Dynamic Oracles
• Title（参考訳）: 動的Oracleによる自動回帰トレーニングの改善
• Authors: Jianing Yang, Harshine Visvanathan, Yilin Wang, Xinyi Hu, Matthew Gormley,
• Abstract要約: DAgger の計量固有動的オラクルアルゴリズムを開発した。 DAggerがスパンベースF1のような分解可能なメトリクスを保証していないことを示す。 我々は、名前付きエンティティ認識、テキスト要約、機械翻訳におけるアルゴリズムの性能を評価する。
• 参考スコア（独自算出の注目度）: 16.029266702213544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many tasks within NLP can be framed as sequential decision problems, ranging from sequence tagging to text generation. However, for many tasks, the standard training methods, including maximum likelihood (teacher forcing) and scheduled sampling, suffer from exposure bias and a mismatch between metrics employed during training and inference. DAgger provides a solution to mitigate these problems, yet it requires a metric-specific dynamic oracle algorithm, which does not exist for many common metrics like span-based F1, ROUGE, and BLEU. In this paper, we develop these novel dynamic oracles and show they maintain DAgger's no-regret guarantee for decomposable metrics like span-based F1. We evaluate the algorithm's performance on named entity recognition (NER), text summarization, and machine translation (MT). While DAgger with dynamic oracle yields less favorable results in our MT experiments, it outperforms the baseline techniques in NER and text summarization.
• Abstract（参考訳）: NLP内の多くのタスクは、シーケンスタグ付けからテキスト生成まで、シーケンシャルな決定問題としてフレーム化することができる。 しかし、多くのタスクにおいて、最大可能性(教師の強制)やスケジュールされたサンプリングを含む標準的なトレーニング方法は、露光バイアスとトレーニングと推論で使用されるメトリクスのミスマッチに悩まされる。 DAggerはこれらの問題を緩和するソリューションを提供するが、SpatベースのF1、ROUGE、BLEUのような多くの一般的なメトリクスには存在しないメトリック固有の動的オラクルアルゴリズムを必要とする。 本稿では,これらの新しい動的オラクルを開発し,DAggerがスパンベースF1のような分解可能なメトリクスを保証していないことを示す。 本研究では,名前付きエンティティ認識(NER),テキスト要約,機械翻訳(MT)におけるアルゴリズムの性能を評価する。 動的オラクルを持つDAggerは、MT実験においてあまり好ましくない結果をもたらすが、NERおよびテキスト要約におけるベースライン技術よりも優れている。

関連論文リスト

• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Learning to Rank Context for Named Entity Recognition Using a Synthetic Dataset [6.633914491587503]
  本稿では,Alpacaを用いた文脈検索学習データセットを提案する。 このデータセットを用いて、NERの関連するコンテキストを見つけることができるBERTモデルに基づいて、ニューラルネットワークコンテキストレトリバーをトレーニングする。 本手法は,40冊の本の第1章からなる英文データセットにおいて,NERタスクの検索ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-16T06:53:12Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Topic-driven Distant Supervision Framework for Macro-level Discourse Parsing [72.14449502499535]
  テキストの内部修辞構造を解析する作業は、自然言語処理において難しい問題である。 近年のニューラルモデルの発展にもかかわらず、トレーニングのための大規模で高品質なコーパスの欠如は大きな障害となっている。 近年の研究では、遠方の監督を用いてこの制限を克服しようと試みている。
  論文  参考訳（メタデータ） (2023-05-23T07:13:51Z)
• Improving Autoregressive NLP Tasks via Modular Linearized Attention [0.20305676256390928]
  本稿では,推定品質を最大化しつつ,顕著な高速化を実現するために,モジュラリニアライナライズドアテンション(MLA)を提案する。 本稿では、音声からテキストへのニューラルマシン翻訳(S2T NMT)、音声からテキストへの同時翻訳(SimulST)、自動回帰テキスト・トゥ・スペクトログラムなど、いくつかの自己回帰NLPタスクに対して、このアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T17:25:48Z)
• Efficient Long Sequence Encoding via Synchronization [29.075962393432857]
  階層符号化のための同期機構を提案する。 我々のアプローチはまずセグメント間でアンカートークンを識別し、元の入力シーケンスでの役割によってグループ化する。 我々のアプローチは、効率を保ちながらセグメント間のグローバル情報交換を改善することができる。
  論文  参考訳（メタデータ） (2022-03-15T04:37:02Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。