論文の概要: Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation

• arxiv url: http://arxiv.org/abs/2306.04101v1
• Date: Wed, 7 Jun 2023 01:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 16:39:56.310678
• Title: Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation
• Title（参考訳）: gotta: プロンプトベースのclozeデータ拡張による生成的少数ショット質問応答
• Authors: Xiusi Chen, Yu Zhang, Jinliang Deng, Jyun-Yu Jiang, Wei Wang
• Abstract要約: QA (Few-shot Question answering) は、コンテキストパスから一連の質問に対する回答を正確に発見することを目的としている。 我々は,ジェネレーティブPROmpTベースのdaTa拡張フレームワークであるGottaを開発した。 人間の推論プロセスにインスパイアされた我々は、クローズタスクを統合して、数発のQA学習を強化することを提案する。
• 参考スコア（独自算出の注目度）: 18.531941086922256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot question answering (QA) aims at precisely discovering answers to a set of questions from context passages while only a few training samples are available. Although existing studies have made some progress and can usually achieve proper results, they suffer from understanding deep semantics for reasoning out the questions. In this paper, we develop Gotta, a Generative prOmpT-based daTa Augmentation framework to mitigate the challenge above. Inspired by the human reasoning process, we propose to integrate the cloze task to enhance few-shot QA learning. Following the recent success of prompt-tuning, we present the cloze task in the same format as the main QA task, allowing the model to learn both tasks seamlessly together to fully take advantage of the power of prompt-tuning. Extensive experiments on widely used benchmarks demonstrate that Gotta consistently outperforms competitive baselines, validating the effectiveness of our proposed prompt-tuning-based cloze task, which not only fine-tunes language models but also learns to guide reasoning in QA tasks. Further analysis shows that the prompt-based loss incorporates the auxiliary task better than the multi-task loss, highlighting the strength of prompt-tuning on the few-shot QA task.
• Abstract（参考訳）: QA (Few-shot Question answering) は、いくつかのトレーニングサンプルが利用可能でありながら、コンテキストパスから一連の質問に対する回答を正確に見つけることを目的としている。 既存の研究はある程度進展しており、通常は適切な結果が得られるが、質問を推論するために深い意味を理解するのに苦しむ。 本稿では,ジェネレーティブなPROmpTベースの daTa Augmentation フレームワークである Gotta を開発し,上記の課題を緩和する。 人間の推論プロセスにインスパイアされた我々は、クローズタスクを統合して、数発のQA学習を強化することを提案する。 最近のプロンプトチューニングの成功に続いて、我々はclozeタスクをメインのqaタスクと同じフォーマットで提示し、モデルが両方のタスクをシームレスに学習し、プロンプトチューニングのパワーを十分に活用できるようにします。 広く使用されているベンチマークに関する広範な実験は、競争ベースラインを一貫して上回ることを示し、提案するプロンプトチューニングベースのclozeタスクの有効性を検証しています。 さらに分析した結果,プロンプトベース・ロスはマルチタスク・ロスよりも優れた補助タスクを取り入れており,数発のQAタスクにおけるプロンプト・チューニングの強みを強調している。

関連論文リスト

• Vector Quantization Prompting for Continual Learning [23.26682439914273]
  連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。 最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。 本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
  論文  参考訳（メタデータ） (2024-10-27T13:43:53Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)
• Analyzing the Effectiveness of the Underlying Reasoning Tasks in Multi-hop Question Answering [28.809665884372183]
  2WikiMultiHopQA と HotpotQA の小さなデータセットによる実験結果から,(1) UR タスクによりQA のパフォーマンスが向上することが示された。 (3) URタスクは,サブクエストや逆問題などの逆問題において,モデルの堅牢性向上に寄与しないことがわかった。
  論文  参考訳（メタデータ） (2023-02-12T17:32:55Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
  MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。 本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。 学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
  論文  参考訳（メタデータ） (2022-12-19T14:48:08Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Continuous QA Learning with Structured Prompts [20.246786740364133]
  Dianaは動的アーキテクチャベースの生涯QAモデルで、一連のQAタスクを学習しようとする。 階層的に整理された4つのプロンプトは、異なる粒度からQA知識を取得するためにダイアナで使用される。 実験では、Dianaは、特に目に見えないタスクの処理において、最先端のQAモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-08-31T02:38:16Z)
• ProQA: Structural Prompt-based Pre-training for Unified Question Answering [84.59636806421204]
  ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。 全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。 ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
  論文  参考訳（メタデータ） (2022-05-09T04:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。