論文の概要: No that's not what I meant: Handling Third Position Repair in Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2307.16689v1
• Date: Mon, 31 Jul 2023 14:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 14:11:49.783444
• Title: No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
• Title（参考訳）: いや、そうじゃない。会話質問回答における第3位補修の扱い
• Authors: Vevake Balaraman, Arash Eshghi, Ioannis Konstas and Ioannis Papaioannou
• Abstract要約: 本稿では,第3位置修正(TPR)データを対話型質問応答(QA)設定でリリースする。 我々は、TPRの実行のための強力なベースラインモデルをトレーニングし、評価することで、データの有用性を実証する。 その結果, GPT-3モデルによるTPRのアウト・オブ・ボックス性能は低かった。
• 参考スコア（独自算出の注目度）: 11.62396104586446
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The ability to handle miscommunication is crucial to robust and faithful conversational AI. People usually deal with miscommunication immediately as they detect it, using highly systematic interactional mechanisms called repair. One important type of repair is Third Position Repair (TPR) whereby a speaker is initially misunderstood but then corrects the misunderstanding as it becomes apparent after the addressee's erroneous response. Here, we collect and publicly release Repair-QA, the first large dataset of TPRs in a conversational question answering (QA) setting. The data is comprised of the TPR turns, corresponding dialogue contexts, and candidate repairs of the original turn for execution of TPRs. We demonstrate the usefulness of the data by training and evaluating strong baseline models for executing TPRs. For stand-alone TPR execution, we perform both automatic and human evaluations on a fine-tuned T5 model, as well as OpenAI's GPT-3 LLMs. Additionally, we extrinsically evaluate the LLMs' TPR processing capabilities in the downstream conversational QA task. The results indicate poor out-of-the-box performance on TPR's by the GPT-3 models, which then significantly improves when exposed to Repair-QA.
• Abstract（参考訳）: コミュニケーションミスを扱う能力は、堅牢で忠実な会話型AIにとって不可欠である。 人々は通常、修正と呼ばれる高度に体系的な相互作用メカニズムを使用して、検出した直後に誤通信を処理します。 重要な補修の1つは第3位置補修 (tpr) であり、話者は最初に誤解されるが、相手の誤応答後に明らかになるため誤解を訂正する。 ここでは、会話型質問応答(QA)設定において、最初の大規模なTPRデータセットであるRelease-QAを収集、公開する。 データは、TPRターン、対応する対話コンテキスト、およびTPRの実行のための元のターンの候補修復で構成される。 本稿では,tpr実行のための強力なベースラインモデルを訓練し,評価することにより,データの有用性を示す。 スタンドアロンのTPR実行では、細調整されたT5モデルとOpenAIのGPT-3 LLMの両方で自動評価を行う。 さらに、下流会話型QAタスクにおけるLLMのTPR処理能力について、本質的に評価する。 その結果, GPT-3モデルによるTPRのアウト・オブ・ボックス性能は低下し, 補修QAにより有意に改善した。

関連論文リスト

• Repairs in a Block World: A New Benchmark for Handling User Corrections with Multi-Modal Language Models [48.42142115255159]
  命令追従操作タスクにおけるマルチモーダルなTPRシーケンスのデータセットであるBlockWorld-Repairsをリリースする。 現状のビジョンと言語モデル(VLM)を複数の設定で評価し,TPRの処理能力と正確な応答性に着目した。 以上の結果から,これらのモデルはまだマルチモーダル・コラボレーティブ・セッティングにデプロイする準備が整っていないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-21T21:06:25Z)
• NARRepair: Non-Autoregressive Code Generation Model for Automatic Program Repair [8.77021401961262]
  Non-Autoregressive(NAR)メソッドは、巨大な推論遅延を避けるために、並列にターゲットコードを出力することができる。 APRタスクのための最初のカスタマイズされたNAARコード生成モデルであるNARRepairを提案する。 NARRepair は,1) 補修動作を用いて過補正問題を緩和し,2) AST から依存情報を抽出して単語間の依存情報の欠如を緩和し,3) 文脈情報の欠如を緩和するために2段階の復号を用いる,という3つの大きな特徴を特徴としている。
  論文  参考訳（メタデータ） (2024-06-24T11:04:28Z)
• ContrastRepair: Enhancing Conversation-Based Automated Program Repair via Contrastive Test Case Pairs [23.419180504723546]
  ContrastRepairは、対照的なテストペアを提供することで、会話駆動型APRを強化する、新しいAPRアプローチである。 Defects4j、QuixBugs、HumanEval-Javaなど、複数のベンチマークデータセット上でContrastRepairを評価する。
  論文  参考訳（メタデータ） (2024-03-04T12:15:28Z)
• SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering [76.4510005602893]
  SQA(Spken Question Answering)は、機械がユーザの質問に応答するために必要である。 本稿では、最初のエンドツーエンドフレームワークであるSpeechDPR(SpeechDPR)を提案する。 教師なしASR (UASR) と高密度テキスト検索器 (TDR) のカスケードモデルから知識を抽出して文レベルの意味表現を学習する
  論文  参考訳（メタデータ） (2024-01-24T14:08:38Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording [0.0]
  GPT-3を混乱させるものは何か、モデルが特定のセンシティブなトピックにどう反応するか、そしてモデル応答にどのような影響があるのかを解析する。 GPT-3は明らかな陰謀やステレオタイプと正しく一致しないが、一般的な誤解や論争では誤りを犯す。 モデル応答はプロンプトや設定に不整合であり、GPT-3の信頼性の欠如を強調している。
  論文  参考訳（メタデータ） (2023-06-09T19:07:31Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• Conversational Automated Program Repair [10.071615423169902]
  本稿では,パッチ生成と検証を対話的に交互に行うプログラム修復のための新しいパラダイムを提案する。 我々は,大規模な事前学習型言語モデルの長期的コンテキストウインドウを活用して,以前の不正なパッチの生成を回避するだけでなく,検証フィードバックを取り入れて,テスト対象のプログラムの意味をモデルが理解できるようにする。
  論文  参考訳（メタデータ） (2023-01-30T19:22:36Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。