論文の概要: Fine-tuning Strategies for Domain Specific Question Answering under Low
Annotation Budget Constraints
- arxiv url: http://arxiv.org/abs/2401.09168v1
- Date: Wed, 17 Jan 2024 12:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 16:02:14.671710
- Title: Fine-tuning Strategies for Domain Specific Question Answering under Low
Annotation Budget Constraints
- Title(参考訳): 低アノテーション予算制約下におけるドメイン特化質問応答の微調整戦略
- Authors: Kunpeng Guo, Dennis Diefenbach, Antoine Gourru, Christophe Gravier
- Abstract要約: 低予算環境でQAモデルを微調整する最善の戦略は、事前訓練された言語モデル(PLM)を、ターゲットデータセットとSQuADデータセットからなるデータセットで微調整することです。
本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。
- 参考スコア(独自算出の注目度): 4.273966905160028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The progress introduced by pre-trained language models and their fine-tuning
has resulted in significant improvements in most downstream NLP tasks. The
unsupervised training of a language model combined with further target task
fine-tuning has become the standard QA fine-tuning procedure. In this work, we
demonstrate that this strategy is sub-optimal for fine-tuning QA models,
especially under a low QA annotation budget, which is a usual setting in
practice due to the extractive QA labeling cost. We draw our conclusions by
conducting an exhaustive analysis of the performance of the alternatives of the
sequential fine-tuning strategy on different QA datasets. Based on the
experiments performed, we observed that the best strategy to fine-tune the QA
model in low-budget settings is taking a pre-trained language model (PLM) and
then fine-tuning PLM with a dataset composed of the target dataset and SQuAD
dataset. With zero extra annotation effort, the best strategy outperforms the
standard strategy by 2.28% to 6.48%. Our experiments provide one of the first
investigations on how to best fine-tune a QA system under a low budget and are
therefore of the utmost practical interest to the QA practitioners.
- Abstract(参考訳): 事前訓練された言語モデルとその微調整によって導入された進歩は、ほとんどの下流のNLPタスクに大きな改善をもたらした。
言語モデルの教師なしトレーニングと、さらに標的となるタスクの微調整が、標準的なQA微調整手順となっている。
本稿では,この戦略が,特に低QAアノテーション予算の下での微調整QAモデルに準最適であることを実証する。
我々は,異なるQAデータセット上での逐次微調整戦略の代替案の性能を徹底的に分析することにより,結論を導いた。
実験結果から,低予算環境でQAモデルを微調整する最善の方法は,事前学習言語モデル(PLM)を用いて,目標データセットとSQuADデータセットからなるデータセットを用いた微調整PLMを行うことであることがわかった。
追加のアノテーションを使わずに、最良の戦略は標準戦略を2.28%から6.48%に上回っている。
本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。
関連論文リスト
- MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot
Question Answering [68.52980461474752]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。
我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。
次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。
同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文 参考訳(メタデータ) (2023-10-08T04:44:36Z) - Large Language Models as Annotators: Enhancing Generalization of NLP
Models at Minimal Cost [6.662800021628275]
入力のアノテートやNLPモデルの一般化のための大言語モデル(LLM)について検討する。
ベースモデルと微調整NLPモデルとの予測スコアの差に基づくサンプリング戦略を提案する。
論文 参考訳(メタデータ) (2023-06-27T19:29:55Z) - Declaration-based Prompt Tuning for Visual Question Answering [16.688288454811016]
本稿では,DPT(Declaation-based Prompt Tuning)と呼ばれる,革新的なビジュアル言語(VL)ファインチューニングパラダイムを提案する。
DPTは、VQAモデルの事前学習と微調整の目的を共同で最適化し、事前学習されたVLモデルの下流タスクへの効果的な適応を促進する。
GQAデータセットの実験結果によると、DPTは完全な教師付き(2.68%)とゼロショット/フェーショット(31%以上)の両方で精度に大きな差で微調整されたデータセットよりも優れていた。
論文 参考訳(メタデータ) (2022-05-05T05:56:55Z) - Improved and Efficient Conversational Slot Labeling through Question
Answering [48.670822631047635]
Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。
本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。
本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2022-04-05T11:34:35Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳(メタデータ) (2021-10-27T05:37:12Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-06T14:12:26Z) - Practical Annotation Strategies for Question Answering Datasets [44.405498237885354]
そこで本研究では,ドメイン内および外部の両方のパフォーマンスを維持しつつ,アノテーションのコストを削減できるように,サブセットのアノテートのためのルールを開発する。
当社の作業は,予算のラベル付けが限定され,QAデータセットのアノテートに要する推奨がよりコスト効率良く必要となる場合に,現実的な要求を満たす。
論文 参考訳(メタデータ) (2020-03-06T14:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。