論文の概要: Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization

• arxiv url: http://arxiv.org/abs/2212.10449v2
• Date: Thu, 25 May 2023 22:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 22:48:57.110099
• Title: Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization
• Title（参考訳）: socratic pretraining: 制御可能な要約のための質問駆動事前トレーニング
• Authors: Artidoro Pagnoni, Alexander R. Fabbri, Wojciech Kry\'sci\'nski, Chien-Sheng Wu
• Abstract要約: ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
• 参考スコア（独自算出の注目度）: 89.04537372465612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In long document controllable summarization, where labeled data is scarce, pretrained models struggle to adapt to the task and effectively respond to user queries. In this paper, we introduce Socratic pretraining, a question-driven, unsupervised pretraining objective specifically designed to improve controllability in summarization tasks. By training a model to generate and answer relevant questions in a given context, Socratic pretraining enables the model to more effectively adhere to user-provided queries and identify relevant content to be summarized. We demonstrate the effectiveness of this approach through extensive experimentation on two summarization domains, short stories and dialogue, and multiple control strategies: keywords, questions, and factoid QA pairs. Our pretraining method relies only on unlabeled documents and a question generation system and outperforms pre-finetuning approaches that use additional supervised data. Furthermore, our results show that Socratic pretraining cuts task-specific labeled data requirements in half, is more faithful to user-provided queries, and achieves state-of-the-art performance on QMSum and SQuALITY.
• Abstract（参考訳）: ラベル付きデータが少ない長い文書管理可能な要約では、事前トレーニングされたモデルはタスクへの適応に苦労し、ユーザクエリに効果的に対応します。 本稿では,要約タスクの制御性を改善するために特別に設計された質問駆動・教師なし事前学習目標であるsocratic pretrainingを提案する。 モデルのトレーニングによって、与えられたコンテキストで関連する質問を生成し、答えることによって、ソクラティック事前学習は、モデルがより効果的にユーザが提供するクエリに準拠し、関連するコンテンツを要約することを可能にする。 本稿では,2つの要約領域,短い物語と対話,およびキーワード,質問,ファクトイドQAペアといった複数の制御戦略の広範な実験を通じて,このアプローチの有効性を実証する。 本手法はラベルなし文書と質問生成システムのみに依存しており,教師ありデータを用いた事前調整手法よりも優れている。 さらに,Socraticプレトレーニングはタスク固有のラベル付きデータ要求を半分に削減し,ユーザが提供するクエリに忠実であり,QMSumとSQuALITYの最先端性能を実現していることを示す。

関連論文リスト

• One VLM to Keep it Learning: Generation and Balancing for Data-free Continual Visual Question Answering [31.025439143093585]
  VLM(Vision-Language Models)は、Webスケールのマルチモーダルデータセットを活用することで、VQA(Visual Question Answering)タスクにおいて大きな可能性を秘めている。 これらのモデルは、新しいタスクに適応する際に破滅的な忘れ物のために、継続的な学習に苦しむことが多い。 本稿では,外部モデルに頼るのではなく,VLMの言語生成能力を活用した最初のデータフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T16:04:59Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
  本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。 多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
  論文  参考訳（メタデータ） (2023-10-20T05:33:21Z)
• Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
  本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。 本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。 最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T14:39:35Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。