論文の概要: CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems
- arxiv url: http://arxiv.org/abs/2406.08101v2
- Date: Thu, 13 Jun 2024 03:16:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 11:35:08.655635
- Title: CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems
- Title（参考訳）: CoXQL: 会話型XAIシステムにおける説明要求を解析するためのデータセット
- Authors: Qianli Wang, Tatiana Anikina, Nils Feldhus, Simon Ostermann, Sebastian Möller,
- Abstract要約: 大規模言語モデル(LLM)に基づく会話説明型人工知能(ConvXAI)システムは,研究コミュニティから大きな関心を集めている。
我々は、ConvXAIでユーザ意図認識のための最初のデータセットであるCoXQLを紹介し、31のインテントをカバーし、そのうち7つは複数のスロットを埋める必要がある。
我々は,改良された解析手法 (MP+) が従来の手法よりも優れていると結論付けた。
- 参考スコア（独自算出の注目度）: 15.403790602937587
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational explainable artificial intelligence (ConvXAI) systems based on large language models (LLMs) have garnered significant interest from the research community in natural language processing (NLP) and human-computer interaction (HCI). Such systems can provide answers to user questions about explanations in dialogues, have the potential to enhance users' comprehension and offer more information about the decision-making and generation processes of LLMs. Currently available ConvXAI systems are based on intent recognition rather than free chat, as this has been found to be more precise and reliable in identifying users' intentions. However, the recognition of intents still presents a challenge in the case of ConvXAI, since little training data exist and the domain is highly specific, as there is a broad range of XAI methods to map requests onto. In order to bridge this gap, we present CoXQL, the first dataset for user intent recognition in ConvXAI, covering 31 intents, seven of which require filling multiple slots. Subsequently, we enhance an existing parsing approach by incorporating template validations, and conduct an evaluation of several LLMs on CoXQL using different parsing strategies. We conclude that the improved parsing approach (MP+) surpasses the performance of previous approaches. We also discover that intents with multiple slots remain highly challenging for LLMs.
- Abstract（参考訳）: 言語モデル(LLM)に基づく会話可能な人工知能(ConvXAI)システムは、自然言語処理(NLP)とヒューマンコンピュータインタラクション(HCI)の研究コミュニティから大きな関心を集めている。
このようなシステムは、対話における説明に関するユーザの質問に対する回答を提供し、ユーザの理解を深め、LCMの意思決定および生成プロセスに関するさらなる情報を提供する可能性がある。
現在利用可能なConvXAIシステムは、無料チャットではなく意図認識に基づいている。
しかし、ConvXAIでは、トレーニングデータがほとんどなく、ドメインが高度に特定されているため、要求をマッピングするXAIメソッドが広い範囲に存在するため、意図の認識は依然として課題となっている。
このギャップを埋めるために、私たちはConvXAIでユーザ意図認識のための最初のデータセットであるCoXQLを紹介します。
その後、テンプレート検証を取り入れた既存の解析手法を強化し、異なる解析戦略を用いて、CoXQL上で複数のLLMの評価を行う。
我々は,改良された解析手法 (MP+) が従来の手法よりも優れていると結論付けた。
また、複数のスロットを持つ意図はLLMにとって非常に困難なままである。
関連論文リスト
- Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。
LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。
本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
論文 参考訳（メタデータ） (2024-09-24T16:31:33Z) - Measuring User Understanding in Dialogue-based XAI Systems [2.4124106640519667]
XAIの最先端は、単発、非個人化、一方通行の説明が特徴である。
本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する。
我々は、高い理解率と低い理解率の集団間の相互作用のパターンを明らかにするために、データを分析した。
論文 参考訳（メタデータ） (2024-08-13T15:17:03Z) - MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。
既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。
本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
論文 参考訳（メタデータ） (2024-07-08T15:37:51Z) - Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。
LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。
上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
論文 参考訳（メタデータ） (2024-06-19T21:45:20Z) - RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳（メタデータ） (2024-03-20T17:59:55Z) - SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question
Answering over a Life Science Knowledge Graph [0.0]
生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。
本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。
また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
論文 参考訳（メタデータ） (2024-02-07T07:24:01Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳（メタデータ） (2024-01-23T11:25:34Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳（メタデータ） (2023-11-17T16:09:10Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - LISA: Reasoning Segmentation via Large Language Model [68.24075852136761]
そこで我々は,新たなセグメンテーションタスク,すなわち推論セグメンテーションを提案する。
このタスクは、複雑で暗黙的なクエリテキストを与えられたセグメンテーションマスクを出力するように設計されている。
提案するLISA: Large Language Instructed Assistantは,マルチモーダル大規模言語モデルの言語生成能力を継承する。
論文 参考訳（メタデータ） (2023-08-01T17:50:17Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳（メタデータ） (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。