論文の概要: Ranking Clarification Questions via Natural Language Inference

• arxiv url: http://arxiv.org/abs/2008.07688v1
• Date: Tue, 18 Aug 2020 01:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 20:37:54.487509
• Title: Ranking Clarification Questions via Natural Language Inference
• Title（参考訳）: 自然言語推論による質問のランク付け
• Authors: Vaibhav Kumar and Vikas Raunak and Jamie Callan
• Abstract要約: 自然言語クエリが与えられた場合、質問を明確にする機械は、実用的な自然言語処理システムにおいて非常に有用である。 明確化質問のランク付けの課題として,あるポストの欠落に関連する明確化質問が,自然言語推論(NLI)の特別な事例とみなすことができる,という仮説を立てる。 我々は、この仮説を、NLIおよびMulti-NLIデータセットに基づいて微調整されたSiamese BERTモデルからの表現をモデルに組み込むことで検証する。
• 参考スコア（独自算出の注目度）: 25.433933534561568
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Given a natural language query, teaching machines to ask clarifying questions is of immense utility in practical natural language processing systems. Such interactions could help in filling information gaps for better machine comprehension of the query. For the task of ranking clarification questions, we hypothesize that determining whether a clarification question pertains to a missing entry in a given post (on QA forums such as StackExchange) could be considered as a special case of Natural Language Inference (NLI), where both the post and the most relevant clarification question point to a shared latent piece of information or context. We validate this hypothesis by incorporating representations from a Siamese BERT model fine-tuned on NLI and Multi-NLI datasets into our models and demonstrate that our best performing model obtains a relative performance improvement of 40 percent and 60 percent respectively (on the key metric of Precision@1), over the state-of-the-art baseline(s) on the two evaluation sets of the StackExchange dataset, thereby, significantly surpassing the state-of-the-art.
• Abstract（参考訳）: 自然言語クエリが与えられた場合、質問を明確にする機械は、実用的な自然言語処理システムにおいて非常に有用である。 このようなインタラクションは、クエリのマシン理解を改善するための情報ギャップを埋めるのに役立つ。 明確化質問をランク付けするタスクについては、特定のポスト(stackexchangeのようなqaフォーラム上で)の欠落したエントリに関する明確化質問が、自然言語推論(nli)の特別なケースであると考えることができるかどうかを仮定する。 この仮説を,nli とマルチnli データセットに微調整された siamese bert モデルからの表現をモデルに組み込むことで検証し,stackexchange データセットの2つの評価セットの最先端ベースラインに対して,当社のベストパフォーマンスモデルがそれぞれ 40 % と 60 % (precision@1 の指標上で) の相対的パフォーマンス向上を達成できることを実証した。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
  知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。 既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。 本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T15:37:51Z)
• Bridging the Gap: Deciphering Tabular Data Using Large Language Model [4.711941969101732]
  この研究は、テーブルベースの質問応答タスクへの大規模言語モデルの初めての応用である。 拡張言語モデルとのシームレスな統合のために,テーブルのシリアライズに特有なモジュールを設計しました。
  論文  参考訳（メタデータ） (2023-08-23T03:38:21Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Extracting Multi-valued Relations from Language Models [36.944060044138304]
  我々は, 潜在言語表現を解析し, 実体化された多目的関係知識を得る可能性について検討する。 候補オブジェクトのランク付けには,既存のプロンプト技術を評価し,ドメイン知識を取り入れた新しい手法を提案する。 選択法のうち、学習された関係性特異しきい値よりも高い確率で対象を選択すると、49.5%のF1スコアが得られる。
  論文  参考訳（メタデータ） (2023-07-06T16:48:32Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
  本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。 本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-01T07:48:03Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Reading Comprehension as Natural Language Inference: A Semantic Analysis [15.624486319943015]
  質問回答(QA)における自然言語推論(NLI)の有用性について検討する。 我々は、利用可能な最大のRCデータセット(RACE)の1つをNLI形式に変換し、両形式の最先端モデル(RoBERTa)の性能を比較する。 我々は、データをコヒーレントな包含形式、構造化された質問応答結合形式で提示するときに、モデルがよりよく機能できる明確なカテゴリを強調した。
  論文  参考訳（メタデータ） (2020-10-04T22:50:59Z)
• ClarQ: A large-scale and diverse dataset for Clarification Question Generation [67.1162903046619]
  そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。 質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。 我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
  論文  参考訳（メタデータ） (2020-06-10T17:56:50Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。