論文の概要: Dialogue Benchmark Generation from Knowledge Graphs with Cost-Effective Retrieval-Augmented LLMs

• arxiv url: http://arxiv.org/abs/2501.09928v1
• Date: Fri, 17 Jan 2025 02:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:50.218253
• Title: Dialogue Benchmark Generation from Knowledge Graphs with Cost-Effective Retrieval-Augmented LLMs
• Title（参考訳）: コスト効果のある検索用LLMを用いた知識グラフからの対話ベンチマーク生成
• Authors: Reham Omar, Omij Mangukiya, Essam Mansour,
• Abstract要約: Chatty-Genは、対話ベンチマークのための新しい多段階検索拡張生成プラットフォームである。 Chatty-Genは生成プロセスを管理可能なステージに分解し、自動検証にアサーションルールを使用する。 いくつかの実および大のKGを用いた実験により、Chatty-Genは最先端システムよりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.8772713588571283
• License:
• Abstract: Dialogue benchmarks are crucial in training and evaluating chatbots engaging in domain-specific conversations. Knowledge graphs (KGs) represent semantically rich and well-organized data spanning various domains, such as DBLP, DBpedia, and YAGO. Traditionally, dialogue benchmarks have been manually created from documents, neglecting the potential of KGs in automating this process. Some question-answering benchmarks are automatically generated using extensive preprocessing from KGs, but they do not support dialogue generation. This paper introduces Chatty-Gen, a novel multi-stage retrieval-augmented generation platform for automatically generating high-quality dialogue benchmarks tailored to a specific domain using a KG. Chatty-Gen decomposes the generation process into manageable stages and uses assertion rules for automatic validation between stages. Our approach enables control over intermediate results to prevent time-consuming restarts due to hallucinations. It also reduces reliance on costly and more powerful commercial LLMs. Chatty-Gen eliminates upfront processing of the entire KG using efficient query-based retrieval to find representative subgraphs based on the dialogue context. Our experiments with several real and large KGs demonstrate that Chatty-Gen significantly outperforms state-of-the-art systems and ensures consistent model and system performance across multiple LLMs of diverse capabilities, such as GPT-4o, Gemini 1.5, Llama 3, and Mistral.
• Abstract（参考訳）: 対話ベンチマークは、ドメイン固有の会話に関わるチャットボットのトレーニングと評価に不可欠である。 知識グラフ(KG)は、DBLP、DBpedia、YAGOなど、さまざまな領域にまたがる意味豊かでよく組織化されたデータを表す。 従来、対話ベンチマークは文書から手動で作成され、このプロセスを自動化するKGの可能性を無視していた。 いくつかの質問応答ベンチマークは、KGから広範囲の事前処理を使用して自動的に生成されるが、対話生成はサポートしていない。 本稿では、KGを用いて特定のドメインに適した高品質な対話ベンチマークを自動生成する、新しい多段階検索拡張プラットフォームChatty-Genを紹介する。 Chatty-Genは生成プロセスを管理可能なステージに分解し、ステージ間の自動検証にアサーションルールを使用する。 本手法は,幻覚による再起動を防ぐための中間結果の制御を可能にする。 また、より高価で強力な商用LLMへの依存を減らす。 Chatty-Genは、効率的なクエリベースの検索を使用して、KG全体の事前処理を排除し、対話コンテキストに基づいて代表サブグラフを見つける。 GPT-4o, Gemini 1.5, Llama 3, Mistral など多種多様な機能を持つ複数の LLM において,Chatty-Gen が最先端システムよりも大幅に優れ,一貫したモデルおよびシステム性能が保証されていることを示す。

関連論文リスト

• Mitigating the Negative Impact of Over-association for Conversational Query Production [44.661864532728615]
  対話型クエリ生成は、対話履歴から検索クエリを生成することを目的としており、検索エンジンから関連する知識を取得するために使用される。 従来のモデルはデータ飢餓の問題に悩まされており、対話履歴から重要な概念を落とし、推論時に無関係な概念を生成する傾向がある。 複数の視点からこれらの問題を緩和するための訓練のための効果的なインスタンスレベルの重み付け戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-29T06:19:59Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System [40.33178881317882]
  本稿では、応答生成からの信号を利用して、知覚的レトリバーの学習に最大限の限界確率を適用することを提案する。 本稿では,T5とChatGPTをバックボーンモデルとして用いた3つのタスク指向対話データセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-13T06:03:47Z)
• Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues [17.41334279810008]
  情報検索対話の文脈において,ChatGPTのような大規模言語モデル(LLM)を用いた文書グラウンド応答生成について検討する。 評価には4つのソーシャルサービスドメインにおけるタスク指向対話のMultiDoc2Dialコーパスを用いる。 両方のChatGPT変異体は、おそらく幻覚の存在を含む関連セグメントに存在しない情報を含んでいる可能性が高いが、それらは共有タスクの勝利システムと人間の反応の両方よりも高い評価を受けている。
  論文  参考訳（メタデータ） (2023-09-21T07:28:03Z)
• Multi-grained Hypergraph Interest Modeling for Conversational Recommendation [75.65483522949857]
  複雑な履歴データの下でユーザの興味を捉えるために, マルチグラデーション・ハイパーグラフ・インフォメーション・モデリング手法を提案する。 提案手法では,まず,ユーザの過去の対話セッションをモデル化し,セッションベースハイパーグラフを作成するためにハイパーグラフ構造を用いる。 さらに,2種類のハイパーグラフに対して多粒度ハイパーグラフの畳み込みを行い,拡張表現を用いて関心を意識したCRSを開発する。
  論文  参考訳（メタデータ） (2023-05-04T13:13:44Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems [6.1478669848771546]
  本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。 我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
  論文  参考訳（メタデータ） (2021-11-28T11:48:02Z)
• A Template-guided Hybrid Pointer Network for Knowledge-basedTask-oriented Dialogue Systems [15.654119998970499]
  本稿では,知識に基づくタスク指向対話システムのためのテンプレート誘導型ハイブリッドポインタネットワークを提案する。 本研究では,ゲーティング機構を備えたメモリポインタネットワークモデルを設計し,検索した回答と接地トラス応答とのセマンティックな相関関係をフル活用する。
  論文  参考訳（メタデータ） (2021-06-10T15:49:26Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
  FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。 我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。