論文の概要: Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization
- arxiv url: http://arxiv.org/abs/2212.10449v1
- Date: Tue, 20 Dec 2022 17:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 15:48:39.013226
- Title: Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization
- Title(参考訳): socratic pretraining: 制御可能な要約のための質問駆動事前トレーニング
- Authors: Artidoro Pagnoni, Alexander R. Fabbri, Wojciech Kry\'sci\'nski,
Chien-Sheng Wu
- Abstract要約: ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
- 参考スコア(独自算出の注目度): 89.04537372465612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In long document controllable summarization, where labeled data is scarce,
pretrained models struggle to adapt to the task and effectively respond to user
queries. In this paper, we introduce Socratic pretraining, a question-driven,
unsupervised pretraining objective specifically designed to improve
controllability in summarization tasks. By training a model to generate and
answer relevant questions in a given context, Socratic pretraining enables the
model to more effectively adhere to user-provided queries and identify relevant
content to be summarized. We demonstrate the effectiveness of this approach
through extensive experimentation on two summarization domains, short stories
and dialogue, and multiple control strategies: keywords, questions, and factoid
QA pairs. Our pretraining method relies only on unlabeled documents and a
question generation system and outperforms pre-finetuning approaches that use
additional supervised data. Furthermore, our results show that Socratic
pretraining cuts task-specific labeled data requirements in half, is more
faithful to user-provided queries, and achieves state-of-the-art performance on
QMSum and SQuALITY.
- Abstract(参考訳): ラベル付きデータが少ない長い文書管理可能な要約では、事前トレーニングされたモデルはタスクへの適応に苦労し、ユーザクエリに効果的に対応します。
本稿では,要約タスクの制御性を改善するために特別に設計された質問駆動・教師なし事前学習目標であるsocratic pretrainingを提案する。
モデルのトレーニングによって、与えられたコンテキストで関連する質問を生成し、答えることによって、ソクラティック事前学習は、モデルがより効果的にユーザが提供するクエリに準拠し、関連するコンテンツを要約することを可能にする。
本稿では,2つの要約領域,短い物語と対話,およびキーワード,質問,ファクトイドQAペアといった複数の制御戦略の広範な実験を通じて,このアプローチの有効性を実証する。
本手法はラベルなし文書と質問生成システムのみに依存しており,教師ありデータを用いた事前調整手法よりも優れている。
さらに,Socraticプレトレーニングはタスク固有のラベル付きデータ要求を半分に削減し,ユーザが提供するクエリに忠実であり,QMSumとSQuALITYの最先端性能を実現していることを示す。
関連論文リスト
- Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。
多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。
各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
論文 参考訳(メタデータ) (2023-10-20T05:33:21Z) - Question-Based Salient Span Selection for More Controllable Text
Summarization [67.68208237480646]
本稿では,質問応答(QA)信号を要約モデルに組み込む手法を提案する。
提案手法は,入力文書中の有声名詞句(NP)を自動生成することで同定する。
このQAベースの信号は、2段階の要約モデルに組み込まれ、まず分類モデルを用いて入力文書中の有能なNPをマークし、その後、条件付きで要約を生成する。
論文 参考訳(メタデータ) (2021-11-15T17:36:41Z) - Weakly Supervised Pre-Training for Multi-Hop Retriever [23.79574380039197]
本研究では,人的努力を伴わない,弱教師付きマルチホップレトリバーの事前学習手法を提案する。
提案手法は,1)複雑な質問のベクトル表現を生成するための事前学習タスク,2)厳密なエンコーダに基づく事前学習モデル構造として,質問とサブクエストのネスト構造を生成するスケーラブルなデータ生成手法を含む。
論文 参考訳(メタデータ) (2021-06-18T08:06:02Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳(メタデータ) (2020-12-29T14:39:35Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z) - Domain-Guided Task Decomposition with Self-Training for Detecting
Personal Events in Social Media [11.638298634523945]
ソーシャルメディアをマイニングすることで、個人的な経験や出来事を検知したり、語彙の空間性に悩まされたり、トレーニングデータに乏しかったり、発明的な辞書を作ったりする。
ラベル付きデータを広範囲に作成することの負担を軽減するため、我々は2つのステップでこれらのタスクを実行することを提案する。
鍵概念を識別してタスクをドメイン固有のサブタスクに分解し、人間のドメイン理解を活用する。 2. ラベル付きトレーニングデータの要求を減らし、協調学習を用いて各鍵概念に対する学習者の結果を組み合わせる。
論文 参考訳(メタデータ) (2020-04-21T14:50:31Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。