論文の概要: Fine-tuning Strategies for Domain Specific Question Answering under Low Annotation Budget Constraints

• arxiv url: http://arxiv.org/abs/2401.09168v1
• Date: Wed, 17 Jan 2024 12:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 16:02:14.671710
• Title: Fine-tuning Strategies for Domain Specific Question Answering under Low Annotation Budget Constraints
• Title（参考訳）: 低アノテーション予算制約下におけるドメイン特化質問応答の微調整戦略
• Authors: Kunpeng Guo, Dennis Diefenbach, Antoine Gourru, Christophe Gravier
• Abstract要約: 低予算環境でQAモデルを微調整する最善の戦略は、事前訓練された言語モデル(PLM)を、ターゲットデータセットとSQuADデータセットからなるデータセットで微調整することです。 本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。
• 参考スコア（独自算出の注目度）: 4.273966905160028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The progress introduced by pre-trained language models and their fine-tuning has resulted in significant improvements in most downstream NLP tasks. The unsupervised training of a language model combined with further target task fine-tuning has become the standard QA fine-tuning procedure. In this work, we demonstrate that this strategy is sub-optimal for fine-tuning QA models, especially under a low QA annotation budget, which is a usual setting in practice due to the extractive QA labeling cost. We draw our conclusions by conducting an exhaustive analysis of the performance of the alternatives of the sequential fine-tuning strategy on different QA datasets. Based on the experiments performed, we observed that the best strategy to fine-tune the QA model in low-budget settings is taking a pre-trained language model (PLM) and then fine-tuning PLM with a dataset composed of the target dataset and SQuAD dataset. With zero extra annotation effort, the best strategy outperforms the standard strategy by 2.28% to 6.48%. Our experiments provide one of the first investigations on how to best fine-tune a QA system under a low budget and are therefore of the utmost practical interest to the QA practitioners.
• Abstract（参考訳）: 事前訓練された言語モデルとその微調整によって導入された進歩は、ほとんどの下流のNLPタスクに大きな改善をもたらした。 言語モデルの教師なしトレーニングと、さらに標的となるタスクの微調整が、標準的なQA微調整手順となっている。 本稿では,この戦略が,特に低QAアノテーション予算の下での微調整QAモデルに準最適であることを実証する。 我々は,異なるQAデータセット上での逐次微調整戦略の代替案の性能を徹底的に分析することにより,結論を導いた。 実験結果から,低予算環境でQAモデルを微調整する最善の方法は,事前学習言語モデル(PLM)を用いて,目標データセットとSQuADデータセットからなるデータセットを用いた微調整PLMを行うことであることがわかった。 追加のアノテーションを使わずに、最良の戦略は標準戦略を2.28%から6.48%に上回っている。 本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Smart Sampling: Self-Attention and Bootstrapping for Improved Ensembled Q-Learning [0.6963971634605796]
  アンサンブルQ学習のサンプル効率向上を目的とした新しい手法を提案する。 提案手法は,組立Qネットワークにマルチヘッド自己アテンションを組み込むとともに,組立Qネットワークが取り入れた状態-動作ペアをブートストラップする。
  論文  参考訳（メタデータ） (2024-05-14T00:57:02Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost [6.662800021628275]
  入力のアノテートやNLPモデルの一般化のための大言語モデル(LLM)について検討する。 ベースモデルと微調整NLPモデルとの予測スコアの差に基づくサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-27T19:29:55Z)
• Declaration-based Prompt Tuning for Visual Question Answering [16.688288454811016]
  本稿では,DPT(Declaation-based Prompt Tuning)と呼ばれる,革新的なビジュアル言語(VL)ファインチューニングパラダイムを提案する。 DPTは、VQAモデルの事前学習と微調整の目的を共同で最適化し、事前学習されたVLモデルの下流タスクへの効果的な適応を促進する。 GQAデータセットの実験結果によると、DPTは完全な教師付き(2.68%)とゼロショット/フェーショット(31%以上)の両方で精度に大きな差で微調整されたデータセットよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-05T05:56:55Z)
• Improved and Efficient Conversational Slot Labeling through Question Answering [48.670822631047635]
  Transformer-based Pretrained Language Model (PLM) は、自然言語理解(NLU)タスクの大部分に適合しないパフォーマンスを提供する。 本稿では,対話のためのNLUの重要なコンポーネントであるテキストスロットラベリング(SL)のモデリングと研究に焦点をあてる。 本稿では,QA調整型PLMをSLタスクに適用し,新しい最先端性能を実現する方法を示す。
  論文  参考訳（メタデータ） (2022-04-05T11:34:35Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Practical Annotation Strategies for Question Answering Datasets [44.405498237885354]
  そこで本研究では,ドメイン内および外部の両方のパフォーマンスを維持しつつ,アノテーションのコストを削減できるように,サブセットのアノテートのためのルールを開発する。 当社の作業は,予算のラベル付けが限定され,QAデータセットのアノテートに要する推奨がよりコスト効率良く必要となる場合に,現実的な要求を満たす。
  論文  参考訳（メタデータ） (2020-03-06T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。