論文の概要: Q-NL Verifier: Leveraging Synthetic Data for Robust Knowledge Graph Question Answering

• arxiv url: http://arxiv.org/abs/2503.01385v1
• Date: Mon, 03 Mar 2025 10:28:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:21:43.246747
• Title: Q-NL Verifier: Leveraging Synthetic Data for Robust Knowledge Graph Question Answering
• Title（参考訳）: Q-NL検証:ロバスト知識グラフ質問応答のための合成データを活用する
• Authors: Tim Schwabe, Louisa Siebel, Patrik Valach, Maribel Acosta,
• Abstract要約: 高品質な合成クエリとNL翻訳を生成する方法であるQ-NL Verifierを提案する。 我々のアプローチは、構造化クエリの意味論的に正確な自然言語パラフレーズを生成するために、大きな言語モデルに依存している。 LC-QuAD 2.0ベンチマークを用いて行った実験から、Q-NL Verifierは、他のモデルからのパラフレーズや、人間による翻訳によく対応していることがわかった。
• 参考スコア（独自算出の注目度）: 0.4499833362998489
• License:
• Abstract: Question answering (QA) requires accurately aligning user questions with structured queries, a process often limited by the scarcity of high-quality query-natural language (Q-NL) pairs. To overcome this, we present Q-NL Verifier, an approach to generating high-quality synthetic pairs of queries and NL translations. Our approach relies on large language models (LLMs) to generate semantically precise natural language paraphrases of structured queries. Building on these synthetic Q-NL pairs, we introduce a learned verifier component that automatically determines whether a generated paraphrase is semantically equivalent to the original query. Our experiments with the well-known LC-QuAD 2.0 benchmark show that Q-NL Verifier generalizes well to paraphrases from other models and even human-authored translations. Our approach strongly aligns with human judgments across varying query complexities and outperforms existing NLP metrics in assessing semantic correctness. We also integrate the verifier into QA pipelines, showing that verifier-filtered synthetic data has significantly higher quality in terms of translation correctness and enhances NL to Q translation accuracy. Lastly, we release an updated version of the LC-QuAD 2.0 benchmark containing our synthetic Q-NL pairs and verifier scores, offering a new resource for robust and scalable QA.
• Abstract（参考訳）: 質問応答(QA)は、高品質なクエリ-自然言語(Q-NL)ペアの不足によって制限される場合が多いため、ユーザの質問を構造化クエリと正確に整合する必要がある。 これを解決するために、高品質な合成クエリとNL翻訳を生成するアプローチであるQ-NL Verifierを提案する。 提案手法は,大規模言語モデル(LLM)を用いて,構造化クエリの意味論的に正確な自然言語パラフレーズを生成する。 これらの合成Q-NLペアに基づいて、生成したパラフレーズが元のクエリと意味論的に等価であるかどうかを自動的に判定する学習検証コンポーネントを導入する。 LC-QuAD 2.0ベンチマークを用いて行った実験から、Q-NL Verifierは、他のモデルからのパラフレーズや、人間による翻訳によく対応していることがわかった。 提案手法は,クエリの複雑さの多様さに対する人間の判断と強く一致し,意味的正確性を評価する上で,既存のNLP指標よりも優れている。 また、検証器をQAパイプラインに統合し、検証器フィルタによる合成データが翻訳精度において著しく高い品質を示し、NL〜Q翻訳精度を向上することを示す。 最後に、我々の合成Q-NLペアと検証器スコアを含むLC-QuAD 2.0ベンチマークの更新版をリリースし、堅牢でスケーラブルなQAのための新しいリソースを提供する。

関連論文リスト

• Quality-Aware Decoding: Unifying Quality Estimation and Decoding [12.843274390224853]
  本稿では,部分翻訳を確実に評価できる新しいトークンレベルQEモデルを提案する。 次に、品質認識復号のためのQEモデルを統合する復号戦略を提案する。 私たちのアプローチは文書翻訳タスクにおいて大きなメリットをもたらします。
  論文  参考訳（メタデータ） (2025-02-12T16:49:52Z)
• When LLMs Struggle: Reference-less Translation Evaluation for Low-resource Languages [9.138590152838754]
  セグメントレベルの品質評価(QE)は言語間理解の難しい課題である。 ゼロ/フェーショットシナリオにおいて,大規模言語モデル (LLM) を包括的に評価する。 この結果から,エンコーダを用いた微調整QEモデルでは,プロンプトベースアプローチの方が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-08T12:54:05Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering [48.25449258017601]
  State-of-the-artはCommonSense Knowledge Basesから構築されたQAペア上での微調整言語モデルにアプローチする。 本稿では,QA診断と改善のためのトレーニング動的フレームワークQADYNAMICSを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:27:34Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• Would You Ask it that Way? Measuring and Improving Question Naturalness for Knowledge Graph Question Answering [20.779777536841493]
  知識グラフ質問応答(KGQA)は、ユーザから正式なクエリ言語専門知識を必要とせず、構造化されたデータを活用することで情報アクセスを容易にする。 我々は,既存のKGQAデータセットから質問を抽出し,自然性の5つの側面について評価することにより,IQN-KGQAテストコレクションを作成する。 より現実的なNL質問の定式化を行うと,いくつかのKGQAシステムはさらに悪化することがわかった。
  論文  参考訳（メタデータ） (2022-05-25T13:32:27Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。