論文の概要: To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2212.10381v1
• Date: Tue, 20 Dec 2022 16:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:38:47.646059
• Title: To Adapt or to Annotate: Challenges and Interventions for Domain Adaptation in Open-Domain Question Answering
• Title（参考訳）: 適応する、または注釈する:オープンドメイン質問応答におけるドメイン適応の挑戦と介入
• Authors: Dheeru Dua, Emma Strubell, Sameer Singh, Pat Verga
• Abstract要約: オープンドメイン質問応答(ODQA)のエンドツーエンドモデルの性能について検討する。 モデルが一般化に失敗するだけでなく、高い検索スコアが解答予測の精度を低下させることもしばしばある。 終末回答F1のスコアを最大24ポイント改善するいくつかの介入手法を提案し,評価する。
• 参考スコア（独自算出の注目度）: 46.403929561360485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in open-domain question answering (ODQA) have demonstrated impressive accuracy on standard Wikipedia style benchmarks. However, it is less clear how robust these models are and how well they perform when applied to real-world applications in drastically different domains. While there has been some work investigating how well ODQA models perform when tested for out-of-domain (OOD) generalization, these studies have been conducted only under conservative shifts in data distribution and typically focus on a single component (ie. retrieval) rather than an end-to-end system. In response, we propose a more realistic and challenging domain shift evaluation setting and, through extensive experiments, study end-to-end model performance. We find that not only do models fail to generalize, but high retrieval scores often still yield poor answer prediction accuracy. We then categorize different types of shifts and propose techniques that, when presented with a new dataset, predict if intervention methods are likely to be successful. Finally, using insights from this analysis, we propose and evaluate several intervention methods which improve end-to-end answer F1 score by up to 24 points.
• Abstract（参考訳）: オープンドメイン質問応答(ODQA)の最近の進歩は、標準ウィキペディアスタイルのベンチマークで顕著な精度を示している。 しかし、これらのモデルがどの程度堅牢で、非常に異なるドメインの現実のアプリケーションに適用された場合、どれだけうまく機能するかは、あまり明らかではない。 ODQAモデルがドメイン外一般化(OOD)のためにテストされた場合、どのように機能するかを調査する研究はいくつかあるが、これらの研究はデータ分散の保守的なシフトの下でのみ行われ、一般的にエンドツーエンドシステムではなく単一のコンポーネント(すなわち検索)に焦点を当てている。 そこで本研究では,より現実的で難解なドメインシフト評価設定を提案し,広範囲な実験を行い,エンドツーエンドモデルの性能について検討する。 モデルが一般化に失敗するだけでなく、高い検索スコアが解答予測の精度を低下させることもしばしばある。 次に、異なる種類のシフトを分類し、新しいデータセットを提示すると、介入方法が成功するかどうかを予測する手法を提案する。 最後に, この分析から得られた知見を用いて, 終末回答F1スコアを最大24ポイント改善する介入手法を提案し, 評価する。

関連論文リスト

• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• Test-time Training for Data-efficient UCDR [22.400837122986175]
  ユニバーサルクロスドメイン検索プロトコルはこの分野のパイオニアである。 本研究では,一般化された検索問題をデータ効率で探索する。
  論文  参考訳（メタデータ） (2022-08-19T07:50:04Z)
• IDANI: Inference-time Domain Adaptation via Neuron-level Interventions [24.60778570114818]
  本稿では,ニューロンレベルの介入を用いたドメイン適応(DA)の新しいアプローチを提案する。 特定のニューロンにおける各テスト例の表現を変更した結果、ソースドメインからの逆実例が得られます。 実験の結果,本手法は未確認領域の性能向上を図っている。
  論文  参考訳（メタデータ） (2022-06-01T06:39:28Z)
• ADATIME: A Benchmarking Suite for Domain Adaptation on Time Series Data [20.34427953468868]
  教師なしドメイン適応手法は、トレーニングデータとは異なる分布を持つ可能性のあるラベルなしテストデータに基づいて、うまく一般化することを目的としている。 時系列ドメイン適応に関する既存の研究は、評価スキーム、データセット、バックボーンニューラルネットワークアーキテクチャの矛盾に悩まされている。 時系列データ上で異なるドメイン適応手法を体系的かつ適切に評価するベンチマーク評価スイート(AdaTime)を開発した。
  論文  参考訳（メタデータ） (2022-03-15T23:55:05Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• A simple baseline for domain adaptation using rotation prediction [17.539027866457673]
  目標は、あるドメインでトレーニングされたモデルを、注釈付きデータが少ない別のドメインに適応させることだ。 本稿では,自己教師付き学習に基づく簡易かつ効果的な手法を提案する。 提案手法は,DomainNetデータセット上での半教師付きドメイン適応における最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2019-12-26T17:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。