論文の概要: Extending the Scope of Out-of-Domain: Examining QA models in multiple subdomains

• arxiv url: http://arxiv.org/abs/2204.04534v1
• Date: Sat, 9 Apr 2022 19:40:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 01:46:42.015716
• Title: Extending the Scope of Out-of-Domain: Examining QA models in multiple subdomains
• Title（参考訳）: ドメイン外スコープの拡張:複数のサブドメインにおけるQAモデルの検討
• Authors: Chenyang Lyu, Jennifer Foster, Yvette Graham
• Abstract要約: 実験の結果,列車データと試験データが異なる領域から来ると,QAシステムの性能が著しく低下することがわかった。 これらの結果は、複数の領域における現在のQAシステムの一般化可能性に疑問を呈し、QAデータセットの内部特性から生じるバイアスに対処する必要性を示唆している。
• 参考スコア（独自算出の注目度）: 16.47527363427252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Past works that investigate out-of-domain performance of QA systems have mainly focused on general domains (e.g. news domain, wikipedia domain), underestimating the importance of subdomains defined by the internal characteristics of QA datasets. In this paper, we extend the scope of "out-of-domain" by splitting QA examples into different subdomains according to their several internal characteristics including question type, text length, answer position. We then examine the performance of QA systems trained on the data from different subdomains. Experimental results show that the performance of QA systems can be significantly reduced when the train data and test data come from different subdomains. These results question the generalizability of current QA systems in multiple subdomains, suggesting the need to combat the bias introduced by the internal characteristics of QA datasets.
• Abstract（参考訳）: QAシステムのドメイン外性能を調べる過去の研究は、主に一般的なドメイン(ニュースドメイン、wikipediaドメインなど)に焦点を当てており、QAデータセットの内部特性によって定義されるサブドメインの重要性を過小評価している。 本稿では,QA例を質問タイプ,テキストの長さ,回答位置などの内部的特徴に応じて,サブドメインに分割することで,ドメイン外の範囲を拡大する。 次に、異なるサブドメインのデータに基づいてトレーニングされたQAシステムの性能について検討する。 実験の結果,列車データと試験データが異なるサブドメインから来る場合,QAシステムの性能は著しく低下することがわかった。 これらの結果は、複数のサブドメインにおける現在のQAシステムの一般化可能性に疑問を呈し、QAデータセットの内部特性から生じるバイアスに対処する必要性を示唆している。

関連論文リスト

• DICS: Find Domain-Invariant and Class-Specific Features for Out-of-Distribution Generalization [26.382349137191547]
  ビジョンタスクでは、ドメイン関連機能とクラス共有機能の両方が、一般化を妨げる共同創設者として機能する。 ドメイン不変およびクラス特化特徴を抽出するDICSモデルを提案する。 DICSは、ターゲットドメインの各クラスの主要な特徴を効果的に識別する。
  論文  参考訳（メタデータ） (2024-09-13T06:20:21Z)
• PointDGMamba: Domain Generalization of Point Cloud Classification via Generalized State Space Model [77.00221501105788]
  ドメイン一般化(DG)は、最近、ポイントクラウド分類(PCC)モデルの、目に見えない領域への一般化性を改善するために研究されている。 本稿では、DG PCCにおける状態空間モデル(SSM)の一般化可能性について研究する。 本稿では,未知の領域に対して強い一般化性を持つ新しいフレームワークであるPointDGMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-24T12:53:48Z)
• DG-PIC: Domain Generalized Point-In-Context Learning for Point Cloud Understanding [41.49771026674969]
  本稿では,ドメイン一般化ポイントクラウド理解のための統一モデルにおいて,複数のドメインと複数のタスクを扱う,新しい,実用的なマルチドメインマルチタスク設定を提案する。 我々のDG-PICは、テスト中にモデル更新を一切必要とせず、見えないドメインと複数のタスク、例えば、ポイントクラウドの再構築、デノナイズ、登録を1つの統一モデルで処理できる。
  論文  参考訳（メタデータ） (2024-07-11T18:21:40Z)
• Domain Adaptation for Question Answering via Question Classification [8.828396559882954]
  質問回答のための質問分類(QC4QA)という新しい枠組みを提案する。 最適化のために、ソースとターゲットドメイン間のドメイン間不一致を最大平均不一致(MMD)距離で低減する。 提案したQC4QAの有効性を,複数のデータセットの最先端ベースラインに対して一貫した改善により示す。
  論文  参考訳（メタデータ） (2022-09-12T03:12:02Z)
• Domain-invariant Feature Exploration for Domain Generalization [35.99082628524934]
  ドメイン不変の機能は、内部と相互の双方から派生すべきである、と我々は主張する。 ドメイン不変な特徴展開のためのDIFEXを提案する。 時系列とビジュアルベンチマークの両方の実験は、提案したDIFEXが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2022-07-25T09:55:55Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• End-to-End QA on COVID-19: Domain Adaptation with Synthetic Training [13.731352294133211]
  エンドツーエンドの質問応答には、情報検索と機械読解の両方が必要である。 最近の研究は、オープンドメインデータセットからの教師付き質問応答(QA)例のみを使用して、ニューラルIRシステムのトレーニングに成功した。 われわれのニューラルIRとMRCシステムを組み合わせて、CORD-19コレクションのエンドツーエンドQAを大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-02T18:59:59Z)
• Heuristic Domain Adaptation [105.59792285047536]
  Heuristic Domain Adaptation Network (HDAN)は、ドメイン不変およびドメイン固有表現を明示的に学習する。 Heuristic Domain Adaptation Network (HDAN)は、教師なしDA、マルチソースDA、半教師なしDAの最先端を超越している。
  論文  参考訳（メタデータ） (2020-11-30T04:21:35Z)
• Cross-Domain Generalization Through Memorization: A Study of Nearest Neighbors in Neural Duplicate Question Detection [72.01292864036087]
  重複質問検出(DQD)は,コミュニティの効率向上と自動質問応答システムの実現に重要である。 我々は、DQDのクロスドメイン一般化のために、ニューラル表現を活用し、近接する隣人を研究する。 StackExchange、Spring、Quoraの各データセットの異なるクロスドメインシナリオにおいて、このメソッドの堅牢なパフォーマンスを観察します。
  論文  参考訳（メタデータ） (2020-11-22T19:19:33Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。