論文の概要: Would You Ask it that Way? Measuring and Improving Question Naturalness
for Knowledge Graph Question Answering
- arxiv url: http://arxiv.org/abs/2205.12768v1
- Date: Wed, 25 May 2022 13:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 15:10:06.731318
- Title: Would You Ask it that Way? Measuring and Improving Question Naturalness
for Knowledge Graph Question Answering
- Title（参考訳）: そんなふうに聞いてもらえませんか。
知識グラフ質問応答における質問自然度の測定と改善
- Authors: Trond Linjordet, Krisztian Balog
- Abstract要約: 知識グラフ質問応答(KGQA)は、ユーザから正式なクエリ言語専門知識を必要とせず、構造化されたデータを活用することで情報アクセスを容易にする。
我々は,既存のKGQAデータセットから質問を抽出し,自然性の5つの側面について評価することにより,IQN-KGQAテストコレクションを作成する。
より現実的なNL質問の定式化を行うと,いくつかのKGQAシステムはさらに悪化することがわかった。
- 参考スコア（独自算出の注目度）: 20.779777536841493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge graph question answering (KGQA) facilitates information access by
leveraging structured data without requiring formal query language expertise
from the user. Instead, users can express their information needs by simply
asking their questions in natural language (NL). Datasets used to train KGQA
models that would provide such a service are expensive to construct, both in
terms of expert and crowdsourced labor. Typically, crowdsourced labor is used
to improve template-based pseudo-natural questions generated from formal
queries. However, the resulting datasets often fall short of representing
genuinely natural and fluent language. In the present work, we investigate ways
to characterize and remedy these shortcomings. We create the IQN-KGQA test
collection by sampling questions from existing KGQA datasets and evaluating
them with regards to five different aspects of naturalness. Then, the questions
are rewritten to improve their fluency. Finally, the performance of existing
KGQA models is compared on the original and rewritten versions of the NL
questions. We find that some KGQA systems fare worse when presented with more
realistic formulations of NL questions. The IQN-KGQA test collection is a
resource to help evaluate KGQA systems in a more realistic setting. The
construction of this test collection also sheds light on the challenges of
constructing large-scale KGQA datasets with genuinely NL questions.
- Abstract（参考訳）: 知識グラフ質問応答(KGQA)は、構造化データを活用することで、ユーザから正式なクエリ言語専門知識を必要としない情報アクセスを容易にする。
その代わり、ユーザは自然言語(NL)で質問するだけで、情報のニーズを表現できる。
このようなサービスを提供するKGQAモデルをトレーニングするために使用されるデータセットは、専門家とクラウドソースの双方の観点から、構築に費用がかかる。
通常、クラウドソーシングによる労力は、形式的クエリから生成されるテンプレートベースの疑似自然問題を改善するために使用される。
しかし、結果として得られるデータセットは、真に自然で流動的な言語を表現できないことが多い。
本研究は,これらの欠点を特徴づけ,治療する方法を検討する。
我々は,既存のKGQAデータセットから質問を抽出し,自然性の5つの側面について評価することでIQN-KGQAテストコレクションを作成する。
そして、質問が書き直され、その頻度が向上する。
最後に、既存のKGQAモデルの性能を、NL質問の原文および書き直し版と比較する。
より現実的なNL質問の定式化を行うと,いくつかのKGQAシステムはさらに悪化することがわかった。
IQN-KGQAテストコレクションは、より現実的な環境でKGQAシステムを評価するのに役立つリソースである。
このテストコレクションの構築は、真のNL質問で大規模なKGQAデータセットを構築する際の課題にも光を当てている。
関連論文リスト
- FusionMind -- Improving question and answering with external context
fusion [0.0]
事前学習言語モデル(LM)と知識グラフ(KG)を用いて,文脈知識が質問応答目標(QA)に与える影響を検討した。
知識事実のコンテキストを取り入れることで、パフォーマンスが大幅に向上することがわかった。
このことは、文脈的知識事実の統合が、質問応答のパフォーマンスを高める上でより影響があることを示唆している。
論文 参考訳（メタデータ） (2023-12-31T03:51:31Z) - Pragmatic Evaluation of Clarifying Questions with Fact-Level Masking [21.480602733510256]
質問を明確にするための自然言語実践的質問(PACQ)の定義とフレームワークを提案する。
また、自然言語データセットを自己教師付きPACQデータセットに変換するためのファクトレベルマスキング(FLM)も提案する。
実験の結果,現在のゼロショットモデルでは,人間のアノテータと比較して,有用な情報を取得するための質問に苦慮していることがわかった。
論文 参考訳（メタデータ） (2023-10-17T20:40:59Z) - Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。
KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。
具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
論文 参考訳（メタデータ） (2023-10-12T09:12:50Z) - QASnowball: An Iterative Bootstrapping Framework for High-Quality
Question-Answering Data Generation [67.27999343730224]
QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。
QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。
本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-19T05:20:36Z) - RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question
Answering [87.18962441714976]
堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。
我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。
以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
論文 参考訳（メタデータ） (2022-10-25T21:39:36Z) - Improving Question Answering with Generation of NQ-like Questions [12.276281998447079]
QA ( Question Answering) システムは大量の注釈付きデータを必要とする。
本研究では,Quizbowl(QB)データセットの長いトリビア質問からNatural Questions(NQ)データセットにおいて,日々のコミュニケーションに似た短い質問を自動的に生成するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-12T21:36:20Z) - Improving Unsupervised Question Answering via Summarization-Informed
Question Generation [47.96911338198302]
質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、
我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。
得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
論文 参考訳（メタデータ） (2021-09-16T13:08:43Z) - QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question
Answering [122.84513233992422]
学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。
既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
論文 参考訳（メタデータ） (2021-04-13T17:32:51Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳（メタデータ） (2020-10-19T17:30:08Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。