論文の概要: QUDSELECT: Selective Decoding for Questions Under Discussion Parsing

• arxiv url: http://arxiv.org/abs/2408.01046v1
• Date: Fri, 2 Aug 2024 06:46:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:17:04.763206
• Title: QUDSELECT: Selective Decoding for Questions Under Discussion Parsing
• Title（参考訳）: QUDSELECT: 議論中の質問に対する選択的デコーディング
• Authors: Ashima Suvarna, Xiao Liu, Tanmay Parekh, Kai-Wei Chang, Nanyun Peng,
• Abstract要約: Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。 本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。 提案手法は,人的評価において9%,自動評価において4%,最先端のベースラインモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 90.92351108691014
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Question Under Discussion (QUD) is a discourse framework that uses implicit questions to reveal discourse relationships between sentences. In QUD parsing, each sentence is viewed as an answer to a question triggered by an anchor sentence in prior context. The resulting QUD structure is required to conform to several theoretical criteria like answer compatibility (how well the question is answered), making QUD parsing a challenging task. Previous works construct QUD parsers in a pipelined manner (i.e. detect the trigger sentence in context and then generate the question). However, these parsers lack a holistic view of the task and can hardly satisfy all the criteria. In this work, we introduce QUDSELECT, a joint-training framework that selectively decodes the QUD dependency structures considering the QUD criteria. Using instruction-tuning, we train models to simultaneously predict the anchor sentence and generate the associated question. To explicitly incorporate the criteria, we adopt a selective decoding strategy of sampling multiple QUD candidates during inference, followed by selecting the best one with criteria scorers. Our method outperforms the state-of-the-art baseline models by 9% in human evaluation and 4% in automatic evaluation, demonstrating the effectiveness of our framework.
• Abstract（参考訳）: Question Under Examination (QUD) は、暗黙の質問を用いて文間の会話関係を明らかにするための談話フレームワークである。 QUD解析では、各文は、前の文脈でアンカー文によって引き起こされる質問に対する答えと見なされる。 結果のQUD構造は、応答整合性(質問がどの程度答えられるか)のようないくつかの理論的基準に適合することが要求され、QUD解析は難しい課題となる。 以前の作業はパイプライン方式でQUDパーサを構築する(つまり、トリガー文をコンテキストで検出し、質問を生成する)。 しかしながら、これらのパーサーはタスクの全体像を欠き、全ての基準を満たすことはほとんどできない。 本稿では,QUD基準を考慮したQUD依存構造を選択的に復号する共同学習フレームワークであるQUDSELECTを紹介する。 命令チューニングを用いて、アンカー文を同時に予測し、関連する質問を生成するモデルを訓練する。 基準を明示的に組み込むために、推論中に複数のQUD候補をサンプリングし、その後、基準スコアの最良の候補を選択する選択復号戦略を採用する。 提案手法は, 最先端のベースラインモデルに対して, 人的評価で9%, 自動評価で4%向上し, フレームワークの有効性を実証する。

関連論文リスト

• Contextualized Evaluations: Taking the Guesswork Out of Language Model Evaluations [85.81295563405433]
  言語モデルユーザーは、しばしば仕様を欠いたクエリを発行するが、クエリが発行されたコンテキストは明示的ではない。 提案手法は,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中に提供するプロトコルである。 その結果,1) モデルペア間の勝利率の反転,2) モデルペア間の勝利率の低下,2) パターンなどの表面レベル基準に基づく判断の少ない評価,3) 様々な文脈におけるモデル行動に関する新たな洞察の提供,といった結果が得られた。
  論文  参考訳（メタデータ） (2024-11-11T18:58:38Z)
• QUDEVAL: The Evaluation of Questions Under Discussion Discourse Parsing [87.20804165014387]
  Questions Under discussions (QUD) は、言論を継続的に質問し、答えるように進行する多目的言語フレームワークである。 本研究はQUD解析の自動評価のための最初のフレームワークを紹介する。 細調整されたシステムとLLMの両方から生成された2,190のQUD質問のきめ細かい評価データセットであるQUDevalを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:03:58Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion [57.43781399856913]
  この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。 我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。 完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
  論文  参考訳（メタデータ） (2022-10-12T03:53:12Z)
• A Simple Approach to Jointly Rank Passages and Select Relevant Sentences in the OBQA Context [15.556928370682094]
  大規模コーパスから関連する情報をどのように選択するかは、推論と推論にとって重要な問題である。 既存のフレームワークの多くは、ディープラーニングモデルを使用して、関連するパスを選択し、対応するパスの文をマッチングすることで、各質問に回答する。 本稿では,これらの問題に対して,文を共同でランク付けし,文を選択することで,シンプルかつ効果的に対処する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-09-22T03:11:17Z)
• ASQ: Automatically Generating Question-Answer Pairs using AMRs [1.0878040851638]
  AMR(Abstract Meaning Representation)を用いて,質問や回答を自動的に文から抽出するツールASQを紹介する。 AMR 2.0データからASQが生成した出力の質的評価は、問合せ対が自然で有効であることを示す。 私たちはこのツールと結果を公開して、他の人が使用して構築できるようにするつもりです。
  論文  参考訳（メタデータ） (2021-05-20T20:38:05Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。