論文の概要: The Role of Visualization in LLM-Assisted Knowledge Graph Systems: Effects on User Trust, Exploration, and Workflows

• arxiv url: http://arxiv.org/abs/2505.21512v1
• Date: Tue, 20 May 2025 18:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.110452
• Title: The Role of Visualization in LLM-Assisted Knowledge Graph Systems: Effects on User Trust, Exploration, and Workflows
• Title（参考訳）: LLM支援知識グラフシステムにおける可視化の役割--ユーザ信頼,探索,ワークフローへの影響
• Authors: Harry Li, Gabriel Appleby, Kenneth Alperin, Steven R Gomez, Ashley Suh,
• Abstract要約: LinkQは、自然言語の質問を大規模言語モデル(LLM)による構造化クエリに変換する探索システムである。 14人の実践者による質的な評価から、ユーザ(KGの専門家でさえ)がLinkQのアウトプットを過信する傾向にあったことが分かりました。
• 参考スコア（独自算出の注目度）: 2.40997250653065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs (KGs) are powerful data structures, but exploring them effectively remains difficult for even expert users. Large language models (LLMs) are increasingly used to address this gap, yet little is known empirically about how their usage with KGs shapes user trust, exploration strategies, or downstream decision-making - raising key design challenges for LLM-based KG visual analysis systems. To study these effects, we developed LinkQ, a KG exploration system that converts natural language questions into structured queries with an LLM. We collaborated with KG experts to design five visual mechanisms that help users assess the accuracy of both KG queries and LLM responses: an LLM-KG state diagram that illustrates which stage of the exploration pipeline LinkQ is in, a query editor displaying the generated query paired with an LLM explanation, an entity-relation ID table showing extracted KG entities and relations with semantic descriptions, a query structure graph that depicts the path traversed in the KG, and an interactive graph visualization of query results. From a qualitative evaluation with 14 practitioners, we found that users - even KG experts - tended to overtrust LinkQ's outputs due to its "helpful" visualizations, even when the LLM was incorrect. Users exhibited distinct workflows depending on their prior familiarity with KGs and LLMs, challenging the assumption that these systems are one-size-fits-all - despite often being designed as if they are. Our findings highlight the risks of false trust in LLM-assisted data analysis tools and the need for further investigation into the role of visualization as a mitigation technique.
• Abstract（参考訳）: 知識グラフ(KG)は強力なデータ構造であるが、専門家のユーザでさえ効果的に探索することは困難である。 大きな言語モデル(LLM)は、このギャップに対処するためにますます使われていますが、KGでの使用がユーザ信頼、探索戦略、あるいは下流の意思決定をいかに形作るかについて、経験的にはほとんど知られていません。 これらの効果を研究するために,自然言語質問をLLMを用いた構造化クエリに変換するKG探索システムであるLinkQを開発した。 探索パイプラインのどのステージにあるかを示すLLM-KG状態図、LLM説明と組み合わせて生成されたクエリを表示するクエリエディタ、抽出されたKGエンティティとセマンティック記述との関係を示すエンティティ-リレーションIDテーブル、KGでトラバースされたパスを描写するクエリ構造グラフ、クエリ結果のインタラクティブグラフである。 14人の実践者による質的な評価から,LLMが正しくない場合でも,KGの専門家でさえ,LinkQのアウトプットを過大評価する傾向が見られた。 ユーザは KG や LLM に慣れ親しんだ状況に応じて,独自のワークフローを示しました。 本研究は,LCM支援データ解析ツールにおける疑似信頼のリスクと,可視化を緩和する手法としての役割について,さらなる調査の必要性を明らかにするものである。

関連論文リスト

• ClaimPKG: Enhancing Claim Verification via Pseudo-Subgraph Generation with Lightweight Specialized LLM [3.864321514889099]
  ClaimPKGは、LLM推論と知識グラフ(KG)からの構造化知識をシームレスに統合するエンドツーエンドフレームワークである。 ClaimPKGは最先端のパフォーマンスを達成し、複数のカテゴリで9%-12%の精度で高いベースラインを達成している。
  論文  参考訳（メタデータ） (2025-05-28T16:34:14Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Augmented Knowledge Graph Querying leveraging LLMs [2.5311562666866494]
  我々は、知識グラフ(KG)のクエリを強化するフレームワークであるSparqLLMを紹介する。 SparqLLMは、生データからKGを構築するために、Extract, Transform, and Load (ETL)パイプラインを実行する。 また、Large Language Models(LLMs)を利用した自然言語インターフェースを備え、自動SPARQLクエリ生成を実現している。
  論文  参考訳（メタデータ） (2025-02-03T12:18:39Z)
• LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering [1.5238808518078564]
  LinkQは,大規模言語モデル(LLM)を活用して,自然言語質問応答による知識グラフ(KG)クエリ構築を容易にするシステムである。 LLMはユーザーの質問を解釈し、その質問を体系的に整形したクエリに変換する。 LinkQは、ユーザの質問が真実のKGデータからのみ回答されることを保証することで、LCMの幻覚的なアウトプットに対してガードする。
  論文  参考訳（メタデータ） (2024-06-07T15:28:31Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。