論文の概要: Combining Transfer Learning with In-context Learning using Blackbox LLMs
for Zero-shot Knowledge Base Question Answering
- arxiv url: http://arxiv.org/abs/2311.08894v1
- Date: Wed, 15 Nov 2023 11:56:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 16:09:18.869383
- Title: Combining Transfer Learning with In-context Learning using Blackbox LLMs
for Zero-shot Knowledge Base Question Answering
- Title（参考訳）: ゼロショット知識ベース質問応答のためのBlackbox LLMを用いたトランスファー学習とインコンテキスト学習の併用
- Authors: Mayur Patidar, Avinash Singh, Riya Sawhney, Indrajit Bhattacharya,
Mausam
- Abstract要約: 本稿では,知識ベース質問応答(KBQA)問題に対するゼロショット変換学習設定について述べる。
KBQAにこれらの2つのパラダイムを有意義に組み合わせて、そのメリットを積み上げる方法を示します。
提案手法は,提案手法を学習したKBQAモデルにおいて,両段階とも大幅な改善と性能向上をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 23.655106151316673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the zero-shot transfer learning setting for the knowledge base
question answering (KBQA) problem, where a large volume of labeled training
data is available for the source domain, but no such labeled examples are
available for the target domain. Transfer learning for KBQA makes use of large
volumes of unlabeled data in the target in addition to the labeled data in the
source. More recently, few-shot in-context learning using Black-box Large
Language Models (BLLMs) has been adapted for KBQA without considering any
source domain data. In this work, we show how to meaningfully combine these two
paradigms for KBQA so that their benefits add up. Specifically, we preserve the
two stage retrieve-then-generate pipeline of supervised KBQA and introduce
interaction between in-context learning using BLLMs and transfer learning from
the source for both stages. In addition, we propose execution-guided
self-refinement using BLLMs, decoupled from the transfer setting. With the help
of experiments using benchmark datasets GrailQA as the source and WebQSP as the
target, we show that the proposed combination brings significant improvements
to both stages and also outperforms by a large margin state-of-the-art
supervised KBQA models trained on the source. We also show that in the
in-domain setting, the proposed BLLM augmentation significantly outperforms
state-of-the-art supervised models, when the volume of labeled data is limited,
and also outperforms these marginally even when using the entire large training
dataset.
- Abstract（参考訳）: 本稿では,知識ベース質問応答(KBQA)問題に対するゼロショット転送学習の設定について述べる。そこでは,大量のラベル付きトレーニングデータがソースドメインで利用可能であるが,そのようなラベル付きサンプルは対象ドメインでは利用できない。
KBQAの転送学習では、ソース内のラベル付きデータに加えて、ターゲット内のラベル付けされていない大量のデータを利用する。
最近では、BLLM(Black-box Large Language Models)を用いたテキスト内学習がKBQAに適用されている。
本稿では、KBQAにこれらの2つのパラダイムを有意義に組み合わせて、それらのメリットを積み上げる方法を示す。
具体的には、教師付きKBQAの2段階検索生成パイプラインを保存し、BLLMを用いたテキスト内学習とソースからの転送学習の相互作用を導入する。
さらに,転送設定から切り離されたBLLMを用いた実行誘導自己抑制を提案する。
ベンチマークデータセットGrailQAをソースとし、WebQSPをターゲットとする実験により、提案された組み合わせにより、両方のステージに大幅な改善がもたらされ、また、ソース上でトレーニングされた最先端のKBQAモデルによって性能が向上することを示した。
また、ドメイン内設定では、BLLM拡張はラベル付きデータのボリュームが制限されている場合、最先端の教師付きモデルよりも大幅に優れており、また、大規模なトレーニングデータセット全体を用いても、これらのモデルよりもはるかに優れていることを示す。
関連論文リスト
- Robust Few-shot Transfer Learning for Knowledge Base Question Answering with Unanswerable Questions [22.411601767105807]
FUn-FuSICは、解答不能なKBQAに対して、最先端(SoTA)の少ショット転送モデルを拡張して、解答不能な処理を行う。
新たに構築されたデータセットに対する実験により、FUn-FuSIC は KBQA に対する SoTA モデルの適合性に優れることがわかった。
論文 参考訳（メタデータ） (2024-06-20T13:43:38Z) - FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base
Question Answering [16.88132219032486]
手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。
我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。
具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。
より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
論文 参考訳（メタデータ） (2023-08-23T11:00:36Z) - Make a Choice! Knowledge Base Question Answering with In-Context
Learning [1.7827767384590838]
知識ベースに対する質問応答(KBQA)は、与えられた知識ベース(KB)でファクトイドな質問に答えることを目的としている。
KBの大規模化のため、注釈付きデータはKB内のすべてのファクトスキーマをカバーすることは不可能である。
ICL ベースの多重選択による KBQA 手法に LLM の少数ショット機能を組み込んだフレームワークである McL-KBQA を提案する。
論文 参考訳（メタデータ） (2023-05-23T11:56:03Z) - Few-shot In-context Learning for Knowledge Base Question Answering [31.73274700847965]
本稿では,KB-BINDERを提案する。
4つの公開ヘテロジニアスKBQAデータセットの実験結果から,KB-BINDERはコンテクスト内デモを数回しか行わず,高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-05-02T19:31:55Z) - TIARA: Multi-grained Retrieval for Robust Question Answering over Large
Knowledge Bases [20.751369684593985]
TIARAは、PLMやオラクルエンティティアノテーションなどを含む以前のSOTAよりも、GrailQAおよびWebQuestionsSP上の少なくとも4.1と1.1のF1ポイントが優れている。
論文 参考訳（メタデータ） (2022-10-24T02:41:10Z) - A Benchmark for Generalizable and Interpretable Temporal Question
Answering over Knowledge Bases [67.33560134350427]
TempQA-WDは時間的推論のためのベンチマークデータセットである。
Wikidataは、最も頻繁にキュレーションされ、公開されている知識ベースである。
論文 参考訳（メタデータ） (2022-01-15T08:49:09Z) - SYGMA: System for Generalizable Modular Question Answering OverKnowledge
Bases [57.89642289610301]
SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。
本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
論文 参考訳（メタデータ） (2021-09-28T01:57:56Z) - Beyond I.I.D.: Three Levels of Generalization for Question Answering on
Knowledge Bases [63.43418760818188]
GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。
BERTベースのKBQAモデルを提案する。
データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
論文 参考訳（メタデータ） (2020-11-16T06:36:26Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳（メタデータ） (2020-07-26T07:13:32Z) - KQA Pro: A Dataset with Explicit Compositional Programs for Complex
Question Answering over Knowledge Base [67.87878113432723]
複雑KBQAのためのデータセットであるKQA Proを紹介する。
各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
論文 参考訳（メタデータ） (2020-07-08T03:28:04Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。