論文の概要: Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2205.08221v1
• Date: Tue, 17 May 2022 10:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 14:01:59.823340
• Title: Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning
• Title（参考訳）: 強化学習を用いた微調整変圧器による高能率教師なし文圧縮
• Authors: Demian Gholipour Ghalandari, Chris Hokamp, Georgiana Ifrim
• Abstract要約: 文圧縮は、非文内容を削除することによってテキストの長さを減少させる。 文圧縮のための教師なし客観的駆動手法は、カスタマイズされたモデルを作成するために使用できる。
• 参考スコア（独自算出の注目度）: 10.380414189465347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence compression reduces the length of text by removing non-essential content while preserving important facts and grammaticality. Unsupervised objective driven methods for sentence compression can be used to create customized models without the need for ground-truth training data, while allowing flexibility in the objective function(s) that are used for learning and inference. Recent unsupervised sentence compression approaches use custom objectives to guide discrete search; however, guided search is expensive at inference time. In this work, we explore the use of reinforcement learning to train effective sentence compression models that are also fast when generating predictions. In particular, we cast the task as binary sequence labelling and fine-tune a pre-trained transformer using a simple policy gradient approach. Our approach outperforms other unsupervised models while also being more efficient at inference time.
• Abstract（参考訳）: 文圧縮は、重要な事実と文法性を維持しながら、不要なコンテンツを取り除くことによって、テキストの長さを減少させる。 教師なしの客観的圧縮法は、学習や推論に使用される目的関数の柔軟性を許容しながら、基礎訓練データを必要としないカスタマイズされたモデルを作成するのに使うことができる。 最近の教師なし文圧縮アプローチでは、個別探索を導くためにカスタム目的を用いるが、推論時にはガイド付き検索は高価である。 本研究では,予測生成時にも高速な効率的な文圧縮モデルを学習するための強化学習の活用について検討する。 特に、単純なポリシー勾配アプローチを用いて、タスクをバイナリシーケンスラベリングと事前トレーニングトランスフォーマを微調整した。 提案手法は他の教師なしモデルより優れている一方で,推論時の効率も優れている。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
  自己教師型音声モデルのための一括圧縮フレームワークを提案する。 このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。 また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
  論文  参考訳（メタデータ） (2022-11-04T09:19:13Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs [16.968490007064872]
  シーケンシャルデータに可変オートエンコーダ(VAE)を適用することで、シーケンス生成、操作、構造化表現学習を制御する方法が提供される。 理論的には、これは遅延空間を利用して補償されるデコーダ入力によって提供されるポイントワイドな相互情報を除去することを示す。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンス性能と潜時空間でキャプチャされた情報の両方を増大させる。
  論文  参考訳（メタデータ） (2022-09-26T11:21:19Z)
• Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
  テキスト要約は、入力テキストの短い要約を生成することを目的としている。 本研究では,非自己回帰的教師なし要約手法を提案する。 実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-05-28T21:09:23Z)
• Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification [12.517161466778655]
  分散モデルトレーニングは、計算ノードにまたがる頻繁なモデル更新による通信ボトルネックに悩まされる。 これらのボトルネックを軽減するために、実践者はスパーシフィケーションや量子化、低ランク更新といった勾配圧縮技術を使用する。 本研究では,高圧縮比の選択による性能劣化が基本的でないことを示す。 適応圧縮戦略は、最終テスト精度を維持しながら通信を低減することができる。
  論文  参考訳（メタデータ） (2020-10-29T16:41:44Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• End-to-end Learning of Compressible Features [35.40108701875527]
  事前訓練された畳み込みニューラルネットワーク(CNN)は、市販の機能ジェネレータである。 CNNは、市販の強力な機能ジェネレータであり、様々なタスクで非常によく機能することが示されている。 残念ながら、生成された機能は高次元であり、保存するのにコストがかかる。 そこで本稿では, 圧縮性とタスク目標を協調的に最適化する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T05:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。