論文の概要: ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA datasets with Large Language Models
- arxiv url: http://arxiv.org/abs/2408.05948v1
- Date: Mon, 12 Aug 2024 06:48:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:35:58.356591
- Title: ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA datasets with Large Language Models
- Title（参考訳）: ConvKGYarn: 大きな言語モデルを用いたスピンニング構成可能でスケーラブルな会話型知識グラフQAデータセット
- Authors: Ronak Pradeep, Daniel Lee, Ali Mousavi, Jeff Pound, Yisi Sang, Jimmy Lin, Ihab Ilyas, Saloni Potdar, Mostafa Arefiyan, Yunyao Li,
- Abstract要約: 本稿では、最新のKGQAデータセットを生成するスケーラブルな方法であるConvKGYarnを提案する。
同じKGファクトセットに異なる構成を持つ会話型KGQA集合のモデル挙動を探索する。
- 参考スコア（独自算出の注目度）: 47.27645876623092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of Large Language Models (LLMs) and conversational assistants necessitates dynamic, scalable, and configurable conversational datasets for training and evaluation. These datasets must accommodate diverse user interaction modes, including text and voice, each presenting unique modeling challenges. Knowledge Graphs (KGs), with their structured and evolving nature, offer an ideal foundation for current and precise knowledge. Although human-curated KG-based conversational datasets exist, they struggle to keep pace with the rapidly changing user information needs. We present ConvKGYarn, a scalable method for generating up-to-date and configurable conversational KGQA datasets. Qualitative psychometric analyses confirm our method can generate high-quality datasets rivaling a popular conversational KGQA dataset while offering it at scale and covering a wide range of human-interaction configurations. We showcase its utility by testing LLMs on diverse conversations - exploring model behavior on conversational KGQA sets with different configurations grounded in the same KG fact set. Our results highlight the ability of ConvKGYarn to improve KGQA foundations and evaluate parametric knowledge of LLMs, thus offering a robust solution to the constantly evolving landscape of conversational assistants.
- Abstract（参考訳）: 大規模言語モデル(LLM)と会話アシスタントの急速な進歩は、トレーニングと評価のために動的でスケーラブルで構成可能な会話データセットを必要とする。
これらのデータセットは、テキストや音声を含む多様なユーザーインタラクションモードに対応できなければならない。
知識グラフ(KG)は構造的かつ進化的な性質を持ち、現在の正確な知識に理想的な基盤を提供する。
人間によるKGベースの会話データセットは存在するが、急速に変化するユーザー情報のニーズに合わせるのに苦労している。
ConvKGarnは、最新のかつ構成可能な会話型KGQAデータセットを生成するスケーラブルな方法である。
定性的な心理測定分析により、一般的な会話型KGQAデータセットに匹敵する高品質なデータセットを生成するとともに、それを大規模に提供し、幅広いヒューマンインタラクション構成をカバーできることを確認した。
同じKGファクトセットに異なる構成を持つ会話型KGQA集合のモデル挙動を探索する。
本研究は,KGQAの基礎を改良し,LLMのパラメトリック知識を評価するConvKGYarnの能力を強調した。
関連論文リスト
- CoDi: Conversational Distillation for Grounded Question Answering [10.265241619616676]
我々はCoDiという新しいデータ蒸留フレームワークを導入する。
CoDiを使えば、大規模でアシスタントスタイルのデータセットを、さまざまな方法で合成することができます。
我々は,CoDi合成データを用いてトレーニングしたSLMが,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を実現することを示す。
論文 参考訳（メタデータ） (2024-08-20T22:35:47Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Knowledge Graphs Querying [4.548471481431569]
我々は、KGクエリのために開発された様々な学際的なトピックと概念を統一することを目的としている。
KGとクエリ埋め込み、マルチモーダルKG、KG-QAの最近の進歩は、ディープラーニング、IR、NLP、コンピュータビジョンドメインから来ている。
論文 参考訳（メタデータ） (2023-05-23T19:32:42Z) - ChatGPT versus Traditional Question Answering for Knowledge Graphs:
Current Status and Future Directions Towards Knowledge Graph Chatbots [7.2676028986202]
知識グラフ(KG)のための会話型AIと質問応答システム(QAS)はどちらも新興研究分野である。
QASは、自然言語質問を理解して翻訳することで、KGから最新の情報を検索し、データベースエンジンがサポートする形式的なクエリに変換する。
本フレームワークでは,現在最先端のQASであるKGQANに対して,ChatGPTとGalacticaの2つの代表的な対話モデルを比較した。
論文 参考訳（メタデータ） (2023-02-08T13:03:27Z) - Talk the Walk: Synthetic Data Generation for Conversational Music
Recommendation [62.019437228000776]
本稿では,広く利用可能なアイテムコレクションにおいて,符号化された専門知識を活用することで,現実的な高品質な会話データを生成するTalkWalkを提案する。
人間の収集したデータセットで100万以上の多様な会話を生成します。
論文 参考訳（メタデータ） (2023-01-27T01:54:16Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳（メタデータ） (2022-11-21T16:21:41Z) - Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。
我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文 参考訳（メタデータ） (2022-10-17T18:02:52Z) - Improving Conversational Recommendation Systems' Quality with
Context-Aware Item Meta Information [42.88448098873448]
対話レコメンデーションシステム(CRS)は,対話履歴からユーザの好みを推測することでユーザと対話する。
従来のCRSでは、知識グラフ(KG)ベースのレコメンデーションモジュールを使用し、応答生成のための言語モデルとKGを統合する。
本稿では,事前学習言語モデル(PLM)と項目メタデータエンコーダを組み合わせた,シンプルで効果的なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-15T14:12:48Z) - Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced
Language Model Pre-training [22.534866015730664]
我々は全英Wikidata KGを言語化した。
Wikidataのような包括的で百科事典的なKGを言語化することで、構造化されたKGと自然言語コーパスを統合することができることを示す。
論文 参考訳（メタデータ） (2020-10-23T22:14:50Z) - Improving Conversational Recommender Systems via Knowledge Graph based
Semantic Fusion [77.21442487537139]
対話型レコメンデータシステム(CRS)は,対話型対話を通じて高品質なアイテムをユーザに推薦することを目的としている。
まず、会話データ自体にユーザの好みを正確に理解するための十分なコンテキスト情報がない。
第二に、自然言語表現とアイテムレベルのユーザ嗜好の間には意味的なギャップがある。
論文 参考訳（メタデータ） (2020-07-08T11:14:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。