論文の概要: Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability

• arxiv url: http://arxiv.org/abs/2406.14313v2
• Date: Fri, 21 Feb 2025 14:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:08:11.575530
• Title: Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability
• Title（参考訳）: KBQAにおけるFew-shot Transferのための弱検証器の繰り返し修復
• Authors: Riya Sawhney, Samrat Yadav, Indrajit Bhattacharya, Mausam,
• Abstract要約: KBQAの現実世界のアプリケーションは、ドメイン内のラベル付きトレーニングデータに制限があるため、解決不可能な問題を扱うモデルを必要とする。 そこで本研究では,KBQAに疑問を呈し,性能評価のための2つの新しいデータセットを提案する。
• 参考スコア（独自算出の注目度）: 20.51540099172928
• License:
• Abstract: Real-world applications of KBQA require models to handle unanswerable questions with a limited volume of in-domain labeled training data. We propose the novel task of few-shot transfer for KBQA with unanswerable questions and contribute two new datasets for performance evaluation. We present FUn-FuSIC - a novel solution for our task that extends FuSIC KBQA, the state-of-the-art few-shot transfer model for answerable-only KBQA. We first note that FuSIC-KBQA's iterative repair makes a strong assumption that all questions are unanswerable. As a remedy, we propose Feedback for Unanswerability (FUn), which uses iterative repair using feedback from a suite of strong and weak verifiers, and an adaptation of self consistency for unanswerabilty to better assess the answerability of a question. Our experiments show that FUn-FuSIC significantly outperforms suitable adaptations of multiple LLM based and supervised SoTA models on our task, while establishing a new SoTA for answerable few-shot transfer as well.
• Abstract（参考訳）: KBQAの現実世界のアプリケーションは、ドメイン内のラベル付きトレーニングデータに制限があるため、解決不可能な問題を扱うモデルを必要とする。 そこで本研究では,KBQAに疑問を呈し,性能評価のための2つの新しいデータセットを提案する。 本稿では,Fun-FuSICについて述べる。Fun-FuSICは,解答のみのKBQAに対して,最先端の少ショット転送モデルであるFuSIC KBQAを拡張した新しいタスクソリューションである。 FuSIC-KBQAの反復的な修復は、すべての疑問が解決不可能である、という強い仮定を最初に指摘した。 そこで本研究では,強い検証器と弱い検証器の集合からのフィードバックを用いて反復的修復を施し,不確実性に対する自己整合性を適応させることにより,質問の応答性をよりよく評価する手法を提案する。 実験の結果,FUn-FuSIC は複数の LLM モデルと教師付き SoTA モデルに対して,応答可能な数ショット転送のための新しい SoTA を確立しながら,適切な適応性能を著しく向上させることがわかった。

関連論文リスト

• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• RetinaQA: A Robust Knowledge Base Question Answering Model for both Answerable and Unanswerable Questions [23.73807255464977]
  State-of-the-the-art Knowledge Base Question Answering (KBQA)モデルはすべての質問に答えられると仮定する。 単一KBQAアーキテクチャにおいて2つの重要なアイデアを統一する新しいモデルであるRetinaQAを提案する。 RetinaQAは、解答可能な問題と解答不能な問題の両方を扱う上で、最先端KBQAモデルの適応性を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-16T08:08:20Z)
• Few-shot Transfer Learning for Knowledge Base Question Answering: Fusing Supervised Models with In-Context Learning [20.80841972133938]
  既存の知識ベース質問回答(KBQA)アーキテクチャは、注釈付きデータに飢えている。 KBQAでは,対象ドメインがラベル付きサンプルを少数提供している。 本稿では,複数のソース学習型検索器を用いてKB検索を行う新しいKBQAアーキテクチャFuSIC-KBQAを提案する。
  論文  参考訳（メタデータ） (2023-11-15T11:56:56Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering [16.88132219032486]
  手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。 我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。 具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。 より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
  論文  参考訳（メタデータ） (2023-08-23T11:00:36Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• DecAF: Joint Decoding of Answers and Logical Forms for Question Answering over Knowledge Bases [81.19499764899359]
  本稿では,論理形式と直解の両方を共同で生成する新しいフレームワークDecAFを提案する。 DecAFはWebQSP、FreebaseQA、GrailQAベンチマークで新しい最先端の精度を実現している。
  論文  参考訳（メタデータ） (2022-09-30T19:51:52Z)
• Can NLI Models Verify QA Systems' Predictions? [34.46234860404459]
  私たちは、自然言語推論(NLI)を使用して堅牢な質問応答システムを構築します。 大規模なトレーニング済みモデルと最近のデータセットを活用して、強力な質問コンバータと非コンテキスト化モジュールを構築しています。 我々のNLIアプローチは、一般的に異なる領域にわたるQAモデルの信頼性推定を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-04-18T06:03:07Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。