Fugu-MT 論文翻訳(概要): Fine-tuned LLMs Know More, Hallucinate Less with Few-Shot Sequence-to-Sequence Semantic Parsing over Wikidata

論文の概要: Fine-tuned LLMs Know More, Hallucinate Less with Few-Shot Sequence-to-Sequence Semantic Parsing over Wikidata

arxiv url: http://arxiv.org/abs/2305.14202v2
Date: Sun, 5 Nov 2023 19:26:17 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 22:42:12.115627
Title: Fine-tuned LLMs Know More, Hallucinate Less with Few-Shot Sequence-to-Sequence Semantic Parsing over Wikidata
Title（参考訳）: Wikidata上でのFew-Shot Sequence-to-Semantic ParsingによるLLMの理解
Authors: Silei Xu, Shicheng Liu, Theo Culhane, Elizaveta Pertseva, Meng-Hsi Wu, Sina J. Semnani, Monica S. Lam
Abstract要約: 本稿では,Wikidataの質の高い質問応答ベンチマークであるWikiWebQuestionsを提案する。現実世界のデータとSPARQLで構成されている。 IDの代わりにユニークなドメイン名とプロパティ名を使用するように、SPARQLを修正します。
参考スコア（独自算出の注目度）: 6.716263690738313
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While large language models (LLMs) can answer many questions correctly, they can also hallucinate and give wrong answers. Wikidata, with its over 12 billion facts, can be used to ground LLMs to improve their factuality. This paper presents WikiWebQuestions, a high-quality question answering benchmark for Wikidata. Ported over from WebQuestions for Freebase, it consists of real-world data with SPARQL annotation. This paper presents a few-shot sequence-to-sequence semantic parser for Wikidata. We modify SPARQL to use the unique domain and property names instead of their IDs. We train the parser to use either the results from an entity linker or mentions in the query. We fine-tune LLaMA by adding the few-shot training data to that used to fine-tune Alpaca. Our experimental results demonstrate the effectiveness of this methodology, establishing a strong baseline of 76% and 65% answer accuracy in the dev and test sets of WikiWebQuestions, respectively. By pairing our semantic parser with GPT-3, we combine verifiable results with qualified GPT-3 guesses to provide useful answers to 96% of the questions in dev. We also show that our method outperforms the state-of-the-art for the QALD-7 Wikidata dataset by 3.6% in F1 score.
Abstract（参考訳）: 大きな言語モデル(LLM)は多くの質問に正しく答えることができるが、幻覚を与え、間違った答えを与えることもできる。 Wikidataは120億件以上の事実を持ち、LCMを根拠にして彼らの事実を改善することができる。本稿では,Wikidataの質の高い質問応答ベンチマークであるWikiWebQuestionsを提案する。 WebQuestions for Freebaseから移植され、SPARQLアノテーションを備えた現実世界のデータで構成されている。本稿ではウィキデータのための数発のシーケンスからシーケンスへの意味パーサを提案する。 IDの代わりにユニークなドメイン名とプロパティ名を使用するように、SPARQLを修正します。パーサにエンティティリンカの結果を使用するようにトレーニングしたり、クエリに言及したりします。アルパカを微調整するために、数ショットのトレーニングデータを追加することでLLaMAを微調整する。本手法の有効性を実験的に実証し,ウィキwebquestionの開発チームとテストセットにおいて,回答精度76%,回答精度65%の強いベースラインをそれぞれ確立した。セマンティックパーサをGPT-3と組み合わせることで、検証結果と適格なGPT-3推定値を組み合わせ、開発における96%の質問に対して有用な回答を提供する。また,本手法は,QALD-7 Wikidataデータセットの精度をF1スコアで3.6%向上させることを示した。

関連論文リスト

Class Order Disorder in Wikidata and First Fixes [0.0]
SPARQLクエリはWikidataに対して評価され、いくつかの違反や疑わしい情報の頻度を決定する。より優れたツールやWikidataコミュニティの関与にもかかわらず、この問題にどのように対処するかについて提案されている。
論文参考訳（メタデータ） (2024-11-23T13:15:13Z)
KIF: A Wikidata-Based Framework for Integrating Heterogeneous Knowledge Sources [0.45141207783683707]
我々は、異種知識ソースを仮想的に統合するためのWikidataベースのフレームワークKIFを提案する。 KIFはPythonで書かれており、オープンソースとしてリリースされている。
論文参考訳（メタデータ） (2024-03-15T13:46:36Z)
KGConv, a Conversational Corpus grounded in Wikidata [6.451914896767135]
KGConvは、Wikidataの事実に根ざした、71kの会話の大規模なコーパスである。テンプレート,ヒューマンアノテーション,手作りルール,質問書き換えニューラルモデルを用いて,対応する質問の複数の変種(12件平均12件)を提供する。 KGConvは、Wikidataのトリプルからのシングルターン質問生成、質問書き換え、会話からの質問応答、知識グラフからの質問応答、クイズ生成など、他の世代や分析タスクにも利用できる。
論文参考訳（メタデータ） (2023-08-29T13:35:51Z)
Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。本稿では,2つの意味解析手法を提案し,その課題を強調した。私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
論文参考訳（メタデータ） (2023-01-28T14:45:11Z)
Mapping Process for the Task: Wikidata Statements to Text as Wikipedia Sentences [68.8204255655161]
本稿では,ウィキデータ文をウィキペディアのプロジェクト用自然言語テキスト(WS2T)に変換するタスクに対して,文レベルでのマッピングプロセスを提案する。主なステップは、文を整理し、四つ組と三つ組のグループとして表現し、それらを英語のウィキペディアで対応する文にマッピングすることである。文構造解析,ノイズフィルタリング,および単語埋め込みモデルに基づく文成分間の関係について,出力コーパスの評価を行った。
論文参考訳（メタデータ） (2022-10-23T08:34:33Z)
WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions from Paragraphs [66.88232442007062]
ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。データセットは、6987のトピックに関する80万以上の英語サンプルで構成されている。本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
論文参考訳（メタデータ） (2022-09-27T01:28:02Z)
Improving Candidate Retrieval with Entity Profile Generation for Wikidata Entity Linking [76.00737707718795]
本稿では,エンティティ・プロファイリングに基づく新しい候補探索パラダイムを提案する。我々は、このプロファイルを使用してインデックス付き検索エンジンに問い合わせ、候補エンティティを検索する。本手法は,ウィキペディアのアンカーテキスト辞書を用いた従来の手法を補完するものである。
論文参考訳（メタデータ） (2022-02-27T17:38:53Z)
QALD-9-plus: A Multilingual Dataset for Question Answering over DBpedia and Wikidata Translated by Native Speakers [68.9964449363406]
私たちは8つの言語に高品質な質問の翻訳を導入することで、最も人気のあるKGQAベンチマークの1つ、QALD-9を拡張します。アルメニア語、ウクライナ語、リトアニア語、バシキル語、ベラルーシ語という5つの言語は、これまでにKGQA研究コミュニティで最高の知識について検討されたことがなかった。
論文参考訳（メタデータ） (2022-01-31T22:19:55Z)
Assessing the quality of sources in Wikidata across languages: a hybrid approach [64.05097584373979]
いくつかの言語でラベルを持つWikidataのトリプルからサンプルした参照コーパスの大規模なコーパスを評価するために,一連のマイクロタスク実験を実施している。クラウドソースアセスメントの統合されたバージョンを使用して、いくつかの機械学習モデルをトレーニングして、Wikidata全体の分析をスケールアップしています。この結果はWikidataにおける参照の質の確認に役立ち、ユーザ生成多言語構造化データの品質をWeb上で定義し、取得する際の共通の課題を特定するのに役立ちます。
論文参考訳（メタデータ） (2021-09-20T10:06:46Z)
Creating and Querying Personalized Versions of Wikidata on a Laptop [0.7449724123186383]
KGTK Kypherは、ユーザがノートパソコン上でパーソナライズされたWikidataの変種を作成できるクエリ言語とプロセッサである。我々は、Kypherがラップトップ上の完全なWikidata KG上で実行可能にする分析のタイプを示すユースケースをいくつか提示する。
論文参考訳（メタデータ） (2021-08-06T00:00:33Z)
Commonsense Knowledge in Wikidata [3.8359194344969807]
本稿では,既存のコモンセンスソースを補完するコモンセンス知識をウィキデータが保持しているかどうかを検討する。我々はWikidataとConceptNetの関係をマッピングし、Wikidata-CSを既存の統合コモンセンスグラフに統合する。
論文参考訳（メタデータ） (2020-08-18T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。