論文の概要: DocPrompt: Large-scale continue pretrain for zero-shot and few-shot
document question answering
- arxiv url: http://arxiv.org/abs/2308.10959v1
- Date: Mon, 21 Aug 2023 18:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 20:08:37.952045
- Title: DocPrompt: Large-scale continue pretrain for zero-shot and few-shot
document question answering
- Title(参考訳): DocPrompt: ゼロショットと少数ショットの文書質問応答のための大規模継続事前トレーニング
- Authors: Sijin Wu, Dan Zhang, Teng Hu, Shikun Feng
- Abstract要約: 本稿では,ゼロショットと少数ショットのパフォーマンスを持つ文書質問応答タスクのためのDocpromptを提案する。
実験結果から, ドクトプロンプトモデルが既存の強いベースラインモデルより有意に優れていたことが示唆された。
- 参考スコア(独自算出の注目度): 12.243822684855681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose Docprompt for document question answering tasks
with powerful zero-shot and few-shot performance. We proposed a novel weakly
supervised data generation method, a novel multl-stage training method and a
novel understanding model & generation model ensemble method. Experiment
results show that the Docprompt model after continue pretrain significantly
outperforms the existing strong baseline models on document question answering
tasks. This method greatly improves the delivery efficiency and model
performance of document question answering customer projects, reducing
annotation costs and labor costs. Our demo can be found at
https://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout.
- Abstract(参考訳): 本稿では,ゼロショットと少数ショットのパフォーマンスを持つ文書質問応答タスクのためのDocpromptを提案する。
本研究では,弱い教師付きデータ生成手法,新しいマルチステージ学習法,新しい理解モデルと生成モデルアンサンブル法を提案する。
実験の結果、docpromptモデルは、文書質問応答タスクにおいて既存の強力なベースラインモデルを大きく上回ることがわかった。
この手法は、顧客プロジェクトに対する文書質問の配信効率とモデル性能を大幅に改善し、アノテーションコストと労力コストを削減する。
私たちのデモはhttps://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout.orgにある。
関連論文リスト
- Drilling Down into the Discourse Structure with LLMs for Long Document
Question Answering [5.022057415488129]
本稿では,文書に共通する談話構造を利用した一組の手法を提案する。
複雑なマルチホップ質問応答において,我々のアプローチをテキスト自己認識推論エージェントと組み合わせて,最高のゼロショット性能を実現する方法を示す。
論文 参考訳(メタデータ) (2023-11-22T18:22:56Z) - Peek Across: Improving Multi-Document Modeling via Cross-Document
Question-Answering [49.85790367128085]
我々は,事前学習対象に答える新しいクロスドキュメント質問から,汎用的なマルチドキュメントモデルを事前学習する。
この新規なマルチドキュメントQA定式化は、クロステキスト情報関係をよりよく回復させるようモデルに指示する。
分類タスクや要約タスクに焦点を当てた従来のマルチドキュメントモデルとは異なり、事前学習対象の定式化により、短いテキスト生成と長いテキスト生成の両方を含むタスクを実行できる。
論文 参考訳(メタデータ) (2023-05-24T17:48:40Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - XDoc: Unified Pre-training for Cross-Format Document Understanding [84.63416346227176]
XDocは、単一のモデルで異なるドキュメントフォーマットを扱う、統合された事前訓練されたモデルである。
XDocは、トレーニング済みの個々のモデルと比較して、さまざまなダウンストリームタスクで同等またはそれ以上のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-10-06T12:07:18Z) - Ask Me Anything: A simple strategy for prompting language models [24.294416731247427]
大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。
そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。
収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。
プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
論文 参考訳(メタデータ) (2022-10-05T17:59:45Z) - PSP: Pre-trained Soft Prompts for Few-Shot Abstractive Summarization [18.698740243997953]
我々は,数ショットの抽象的な要約をサポートするために,新しいソフトプロンプトアーキテクチャを開発した。
文書レベルの情報をキャプチャするために、テキストに新しいインナープロンプトを配置する。
パラメータの0.1%しか持たない本手法は、全てのモデルパラメータがチューニングされるフルモデルチューニングよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-09T07:40:52Z) - Value Retrieval with Arbitrary Queries for Form-like Documents [50.5532781148902]
フォーム状文書に対する任意のクエリを用いた値検索を提案する。
本手法は,フォームのレイアウトやセマンティクスの理解に基づいて,任意のクエリのターゲット値を予測する。
本稿では,大規模モデル事前学習における文書理解を改善するためのシンプルな文書言語モデリング (simpleDLM) 戦略を提案する。
論文 参考訳(メタデータ) (2021-12-15T01:12:02Z) - Focused Attention Improves Document-Grounded Generation [111.42360617630669]
文書基盤生成は、文書に提供される情報を用いてテキスト生成を改善するタスクである。
本研究はwikipedia更新生成タスクと対話応答生成という2つの異なる文書基底生成タスクに焦点を当てている。
論文 参考訳(メタデータ) (2021-04-26T16:56:29Z) - Substance over Style: Document-Level Targeted Content Transfer [42.18770674148932]
文書レベルのターゲットコンテンツ転送のタスクを導入し、レシピドメインで対処する。
生成事前学習言語モデル(GPT-2)に基づく新しいタスクモデルを提案する。
自動評価と人的評価の両方で、我々のモデルは既存の手法よりも優れています。
論文 参考訳(メタデータ) (2020-10-16T20:26:10Z) - Self-supervised Deep Reconstruction of Mixed Strip-shredded Text
Documents [63.41717168981103]
本研究は,従来の1ページ再構成の深層学習手法を,より現実的で複雑なシナリオに拡張する。
本手法では, 整合性評価を2クラス(無効または無効)パターン認識問題としてモデル化する。
提案手法は複雑なシナリオにおいて競合する手法よりも優れ、90%以上の精度で精度が向上する。
論文 参考訳(メタデータ) (2020-07-01T21:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。