論文の概要: CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems

• arxiv url: http://arxiv.org/abs/2406.08101v1
• Date: Wed, 12 Jun 2024 11:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:15:13.620510
• Title: CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems
• Title（参考訳）: CoXQL: 会話型XAIシステムにおける説明要求を解析するためのデータセット
• Authors: Qianli Wang, Tatiana Anikina, Nils Feldhus, Simon Ostermann, Sebastian Möller,
• Abstract要約: 大規模言語モデル(LLM)に基づく会話説明型人工知能(ConvXAI)システム ConvXAIシステムは、無料チャットではなく意図認識に基づいている。 CoXQLは、ConvXAIでユーザ意図認識のための最初のデータセットである。
• 参考スコア（独自算出の注目度）: 15.403790602937587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational explainable artificial intelligence (ConvXAI) systems based on large language models (LLMs) have garnered significant interest from the research community in natural language processing (NLP) and human-computer interaction (HCI). Such systems can provide answers to user questions about explanations, have the potential to enhance users' comprehension and offer more information about the decision-making and generation processes of LLMs. Currently available ConvXAI systems are based on intent recognition rather than free chat. Thus, reliably grasping users' intentions in ConvXAI systems still presents a challenge, because there is a broad range of XAI methods to map requests onto and each of them can have multiple slots to take care of. In order to bridge this gap, we present CoXQL, the first dataset for user intent recognition in ConvXAI, covering 31 intents, seven of which require filling additional slots. Subsequently, we enhance an existing parsing approach by incorporating template validations, and conduct an evaluation of several LLMs on CoXQL using different parsing strategies. We conclude that the improved parsing approach (MP+) surpasses the performance of previous approaches. We also discover that intents with multiple slots remain highly challenging for LLMs.
• Abstract（参考訳）: 言語モデル(LLM)に基づく会話可能な人工知能(ConvXAI)システムは、自然言語処理(NLP)とヒューマンコンピュータインタラクション(HCI)の研究コミュニティから大きな関心を集めている。 このようなシステムは、ユーザによる説明に関する質問に対する回答を提供し、ユーザの理解を深め、LCMの意思決定と生成プロセスに関するさらなる情報を提供する可能性がある。 現在利用可能なConvXAIシステムは、無料チャットではなく意図認識に基づいている。 したがって,ConvXAIシステムにおいてユーザの意図を確実に把握することは,要求をマップする広範囲なXAIメソッドが存在し,それぞれが処理する複数のスロットを持つため,依然として課題である。 このギャップを埋めるために、私たちはConvXAIでユーザ意図認識のための最初のデータセットであるCoXQLを紹介します。 その後、テンプレート検証を取り入れた既存の解析手法を強化し、異なる解析戦略を用いて、CoXQL上で複数のLLMの評価を行う。 我々は,改良された解析手法 (MP+) が従来の手法よりも優れていると結論付けた。 また、複数のスロットを持つ意図はLLMにとって非常に困難なままである。

関連論文リスト

• Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
  本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。 LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。 本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
  論文  参考訳（メタデータ） (2024-09-24T16:31:33Z)
• Measuring User Understanding in Dialogue-based XAI Systems [2.4124106640519667]
  XAIの最先端は、単発、非個人化、一方通行の説明が特徴である。 本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する。 我々は、高い理解率と低い理解率の集団間の相互作用のパターンを明らかにするために、データを分析した。
  論文  参考訳（メタデータ） (2024-08-13T15:17:03Z)
• MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
  知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。 既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。 本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T15:37:51Z)
• An Interactive Multi-modal Query Answering System with Retrieval-Augmented Large Language Models [21.892975397847316]
  本稿では,新たに開発したマルチモーダル検索フレームワークとナビゲーショングラフインデックスを用いて,対話型マルチモーダルクエリ・アンサーリング(MQA)システムを提案する。 MQAの特筆すべき点は、異なるモダリティの重要性を評価するために、コントラスト学習を利用することである。 本システムは,計算プルーニング技術を用いて改良した,先進的なナビゲーショングラフインデックスによる効率的な検索を実現する。
  論文  参考訳（メタデータ） (2024-07-05T02:01:49Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph [0.0]
  生命科学知識グラフを用いた質問応答のためのOpenLlama LLMの微調整戦略を評価する。 本稿では,既存のクエリのセットを知識グラフ上に拡張するためのエンドツーエンドデータ拡張手法を提案する。 また、意味のある変数名やインラインコメントなど、クエリにおける意味的な"キュー"の役割についても検討する。
  論文  参考訳（メタデータ） (2024-02-07T07:24:01Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• LISA: Reasoning Segmentation via Large Language Model [68.24075852136761]
  そこで我々は,新たなセグメンテーションタスク,すなわち推論セグメンテーションを提案する。 このタスクは、複雑で暗黙的なクエリテキストを与えられたセグメンテーションマスクを出力するように設計されている。 提案するLISA: Large Language Instructed Assistantは,マルチモーダル大規模言語モデルの言語生成能力を継承する。
  論文  参考訳（メタデータ） (2023-08-01T17:50:17Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。