論文の概要: On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method

• arxiv url: http://arxiv.org/abs/2206.14796v1
• Date: Wed, 29 Jun 2022 17:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:34:03.310076
• Title: On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method
• Title（参考訳）: 対話型質問応答における対話履歴表現のロバスト性について:包括的考察と新しいプロンプト法
• Authors: Zorik Gekhman, Nadav Oved, Orgad Keller, Idan Szpektor, Roi Reichart
• Abstract要約: 我々は,CQAにおける歴史モデリング手法の大規模ロバストネス研究を行った。 我々は,新しいプロンプトベースの履歴モデリング手法を設計し,その強靭性を様々な設定で示す。 私たちのアプローチはシンプルで、事実上どんなモデルにも簡単にプラグインでき、非常に効果的です。
• 参考スコア（独自算出の注目度）: 22.53491549115403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most works on modeling the conversation history in Conversational Question Answering (CQA) report a single main result on a common CQA benchmark. While existing models show impressive results on CQA leaderboards, it remains unclear whether they are robust to shifts in setting (sometimes to more realistic ones), training data size (e.g. from large to small sets) and domain. In this work, we design and conduct the first large-scale robustness study of history modeling approaches for CQA. We find that high benchmark scores do not necessarily translate to strong robustness, and that various methods can perform extremely differently under different settings. Equipped with the insights from our study, we design a novel prompt-based history modeling approach, and demonstrate its strong robustness across various settings. Our approach is inspired by existing methods that highlight historic answers in the passage. However, instead of highlighting by modifying the passage token embeddings, we add textual prompts directly in the passage text. Our approach is simple, easy-to-plug into practically any model, and highly effective, thus we recommend it as a starting point for future model developers. We also hope that our study and insights will raise awareness to the importance of robustness-focused evaluation, in addition to obtaining high leaderboard scores, leading to better CQA systems.
• Abstract（参考訳）: Conversational Question Answering (CQA) の会話履歴をモデル化する作業の多くは、共通のCQAベンチマークで1つの主要な結果を報告している。 既存のモデルはCQAのリーダーボード上で印象的な結果を示しているが、設定(時にはより現実的なものへ)、データサイズ(例えば、大きなものから小さなものへ)、ドメインのトレーニングにおいて堅牢かどうかは不明だ。 本研究では,CQAにおける歴史モデリング手法の大規模ロバストネス研究を設計し,実施する。 高いベンチマークスコアが強靭性に必ずしも変換されないことや、様々な手法が異なる設定で非常に異なる性能を発揮することを発見した。 本研究から得られた知見を活かし,新しいプロンプトベースの歴史モデリング手法を考案し,その強固さを様々な場面で実証する。 当社のアプローチは,過去の回答を要約する既存の手法に着想を得たものです。 しかし、エントリトークンの埋め込みを変更することでハイライトを行う代わりに、パステキストに直接テキストプロンプトを追加する。 私たちのアプローチはシンプルで、事実上どんなモデルにも簡単に接続でき、非常に効果的なので、将来のモデル開発者にとって出発点として推奨します。 また、我々の研究と洞察が、高いリーダーボードスコアの獲得に加えて、ロバストネスを重視した評価の重要性への認識を高め、より良いCQAシステムを実現することを期待しています。

関連論文リスト

• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• History Semantic Graph Enhanced Conversational KBQA with Temporal Information Modeling [28.27368343751272]
  会話履歴における長距離意味的依存関係を効果的にモデル化できる履歴意味グラフ拡張KBQAモデル(HSGE)を提案する。 複雑な逐次質問応答のためのベンチマークデータセットを用いてHSGEを評価した。
  論文  参考訳（メタデータ） (2023-06-12T05:10:58Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering [38.071375112873675]
  質問応答型エンコーダデコーダモデルの提案と事前学習戦略について述べる。 これにより、シングルホップのQAタスクにおいて、以前のQA検索方法よりも優れたエンドツーエンドシステムが得られる。
  論文  参考訳（メタデータ） (2022-04-10T02:33:00Z)
• KGI: An Integrated Framework for Knowledge Intensive Language Tasks [16.511913995069097]
  本稿では,他の知識集約型言語タスクに対して,この手法の強化版に基づくシステムを提案する。 我々のシステムは、KILTのリーダーボードで最高のモデルに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2022-04-08T10:36:21Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Conversational Query Rewriting with Self-supervised Learning [36.392717968127016]
  Conversational Query Rewriting (CQR) は、会話クエリを自己完結した発話に明示的に書き換えることによって、マルチターン対話を単一ターン問題に単純化することを目的としている。 既存のアプローチは、アノテートに労働集約的な大規模な教師付きトレーニングデータに依存している。 我々は,人間のアノテーションを必要としない自己教師付き学習により,大規模CQRデータセットを自動構築することを提案する。
  論文  参考訳（メタデータ） (2021-02-09T08:57:53Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• SRQA: Synthetic Reader for Factoid Question Answering [21.28441702154528]
  我々はSRQAと呼ばれる新しいモデルを導入し、これはFactoid Question AnsweringのためのSynthetic Readerを意味する。 このモデルは,多文書シナリオにおける質問応答システムを3つの側面から強化する。 WebQAデータセット上でSRQAを行い、実験により、我々のモデルが最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-02T13:16:24Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。