論文の概要: Enhance Incomplete Utterance Restoration by Joint Learning Token Extraction and Text Generation

• arxiv url: http://arxiv.org/abs/2204.03958v1
• Date: Fri, 8 Apr 2022 09:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:21:05.736859
• Title: Enhance Incomplete Utterance Restoration by Joint Learning Token Extraction and Text Generation
• Title（参考訳）: 共同学習トークン抽出とテキスト生成による不完全発話の復元
• Authors: Shumpei Inoue, Tsungwei Liu, Nguyen Hong Son, Minh-Tien Nguyen
• Abstract要約: 本稿では,不完全発話回復モデル(IUR)を提案する。 我々の設計はIURの性質をシミュレートし、文脈から省略されたトークンが復元に寄与する。 修復は、共同学習においてピッカーの助けを借りてジェネレータを使用することで行われる。
• 参考スコア（独自算出の注目度）: 1.6249267147413522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a model for incomplete utterance restoration (IUR). Different from prior studies that only work on extraction or abstraction datasets, we design a simple but effective model, working for both scenarios of IUR. Our design simulates the nature of IUR, where omitted tokens from the context contribute to restoration. From this, we construct a Picker that identifies the omitted tokens. To support the picker, we design two label creation methods (soft and hard labels), which can work in cases of no annotation of the omitted tokens. The restoration is done by using a Generator with the help of the Picker on joint learning. Promising results on four benchmark datasets in extraction and abstraction scenarios show that our model is better than the pretrained T5 and non-generative language model methods in both rich and limited training data settings. The code will be also available.
• Abstract（参考訳）: 本稿では,不完全発話回復モデル(IUR)を提案する。 データセットの抽出や抽象化のみに取り組む先行研究とは異なり、iurの両シナリオで動作する、シンプルだが効果的なモデルを設計します。 我々の設計はIURの性質をシミュレートし、文脈から省略されたトークンが復元に寄与する。 これにより,省略されたトークンを識別するピッカーを構築する。 ピッカーをサポートするために,省略されたトークンのアノテーションがない場合に使用可能な2つのラベル生成メソッド(ソフトラベルとハードラベル)を設計した。 この修復は、共同学習においてピッカーの助けを借りて発電機を用いて行う。 抽出および抽象化シナリオにおける4つのベンチマークデータセットの結果から、我々のモデルは、リッチかつ限られたトレーニングデータ設定において、事前訓練されたT5および非生成言語モデルメソッドよりも優れていることが分かる。 コードも利用可能になる。

関連論文リスト

• Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension [4.164728134421114]
  Referring Expression(REC)は、自然言語表現によってシーン内の特定のオブジェクトを識別することを目的としており、視覚言語理解において重要なトピックである。 このタスクの最先端のメソッドは、一般的に高価で手動でラベル付けされたアノテーションを必要とするディープラーニングに基づいている。 テキストと視覚の両方を考慮したRECタスクのための人工データを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T09:08:36Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Few Shot Rationale Generation using Self-Training with Dual Teachers [4.91890875296663]
  予測ラベルのフリーテキスト説明も生成するセルフリレーゼーションモデルは、信頼できるAIアプリケーションを構築する上で重要なツールである。 タスク予測と合理化のための2つの専門教師モデルを学ぶ。 新しい損失関数Masked Label Regularization (MLR) を定式化した。
  論文  参考訳（メタデータ） (2023-06-05T23:57:52Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction [52.63803634033647]
  低リソース関係抽出(LRE)は,人間のアノテーションが不足している場合に,ラベル付きコーパスから関係事実を抽出することを目的としている。 我々は、擬似ラベルデータにラベル付きデータへの勾配降下方向を模倣するように促すグラディエント・イミテーション強化学習法を開発した。 また,低リソース関係抽出における2つの主要なシナリオを扱うGradLREというフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T03:51:15Z)
• Document-level Entity-based Extraction as Template Generation [13.110360825201044]
  本稿では2つの文書レベルEEタスクのための生成フレームワークを提案する: 役割充足者エンティティ抽出(REE)と関係抽出(RE)である。 まず、テンプレート生成問題として定式化し、モデルが依存性を効率的にキャプチャできるようにする。 キー情報の識別能力を高めるために、新しいクロスアテンションガイド付きコピー機構であるTopK Copyを事前訓練されたシーケンス・ツー・シーケンスモデルに組み込む。
  論文  参考訳（メタデータ） (2021-09-10T14:18:22Z)
• Few-Shot Learning for Opinion Summarization [117.70510762845338]
  オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。 本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。 提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
  論文  参考訳（メタデータ） (2020-04-30T15:37:38Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。