論文の概要: Interviewer-Candidate Role Play: Towards Developing Real-World NLP Systems

• arxiv url: http://arxiv.org/abs/2107.00315v1
• Date: Thu, 1 Jul 2021 09:08:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 14:04:31.383311
• Title: Interviewer-Candidate Role Play: Towards Developing Real-World NLP Systems
• Title（参考訳）: インタビュアー中心型ロールプレイ - 実世界NLPシステムの開発に向けて
• Authors: Neeraj Varshney, Swaroop Mishra, Chitta Baral
• Abstract要約: インタビューのような人間-人間-質問応答者の典型的なインタラクションをシミュレートする多段階タスクを提案する。 本システムは,自信が十分でない場合に予測を改善するため,様々な段階で質問の簡略化,知識ステートメント,例等を提供する。 我々は総合的な実験を行い、OODの一般化性能はステージ1では2.29%向上し、ステージ2では1.91%、ステージ3では54.88%、ステージ4では72.02%向上した。
• 参考スコア（独自算出の注目度）: 16.859554473181348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard NLP tasks do not incorporate several common real-world scenarios such as seeking clarifications about the question, taking advantage of clues, abstaining in order to avoid incorrect answers, etc. This difference in task formulation hinders the adoption of NLP systems in real-world settings. In this work, we take a step towards bridging this gap and present a multi-stage task that simulates a typical human-human questioner-responder interaction such as an interview. Specifically, the system is provided with question simplifications, knowledge statements, examples, etc. at various stages to improve its prediction when it is not sufficiently confident. We instantiate the proposed task in Natural Language Inference setting where a system is evaluated on both in-domain and out-of-domain (OOD) inputs. We conduct comprehensive experiments and find that the multi-stage formulation of our task leads to OOD generalization performance improvement up to 2.29% in Stage 1, 1.91% in Stage 2, 54.88% in Stage 3, and 72.02% in Stage 4 over the standard unguided prediction. However, our task leaves a significant challenge for NLP researchers to further improve OOD performance at each stage.
• Abstract（参考訳）: 標準的なNLPタスクには、質問の明確化、手がかりの活用、誤った回答を避けるための棄権など、いくつかの一般的な現実シナリオが組み込まれていない。 このタスクの定式化の違いは、実環境におけるNLPシステムの採用を妨げる。 本研究では,このギャップを埋めるための一歩を踏み出し,インタビューなどの人間-人間間対話をシミュレートする多段階タスクを提案する。 具体的には、システムは質問の単純化、知識ステートメント、例などを提供します。 十分に自信が持てない時に 予測を改善するために 様々な段階で 提案したタスクは、ドメイン内およびドメイン外の両方の入力に基づいてシステムが評価される自然言語推論設定でインスタンス化する。 総合的な実験を行い,マルチステージの定式化により,ステージ1では2.29%,ステージ2では1.91%,ステージ3では54.88%,ステージ4では72.02%,非誘導予測では2.29%まで改善できることを確認した。 しかし、我々の課題は、NLP研究者が各段階でのOOD性能をさらに向上させる上で大きな課題となっている。

関連論文リスト

• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Deep Transformers for Patronizing and Condescending Language Detection [4.883341580669763]
  そこで我々は,PCL検出のための新しいトランスフォーマーモデルとそのアンサンブルを提案する。 PCLの微妙で主観的な性質の理解を容易にするために,2つの微調整戦略を適用した。 このシステムは公式ランキングにおいて顕著な結果、すなわちSubtask 1で1位、Subtask 2で5位となる。
  論文  参考訳（メタデータ） (2022-03-09T10:05:10Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Confidence-Aware Active Feedback for Efficient Instance Search [21.8172170825049]
  関連性フィードバックは、不完全なランキング結果をさらに洗練させるために、インスタンス検索(INS)タスクで広く使用されている。 本稿では,最も価値の高いフィードバック候補を効率的に選択できる信頼性対応アクティブフィードバック(CAAF)手法を提案する。 特にCAAFは、TRECVID 2021の大規模ビデオINS評価において、第1位を記録している。
  論文  参考訳（メタデータ） (2021-10-23T16:14:03Z)
• Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
  本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。 実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
  論文  参考訳（メタデータ） (2021-10-15T05:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。