論文の概要: How well can large language models explain business processes?

• arxiv url: http://arxiv.org/abs/2401.12846v2
• Date: Wed, 24 Jul 2024 08:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 19:30:34.772905
• Title: How well can large language models explain business processes?
• Title（参考訳）: 大規模言語モデルはビジネスプロセスをどの程度説明できるのか?
• Authors: Dirk Fahland, Fabiana Fournier, Lior Limonad, Inna Skarbovsky, Ava J. E. Swevels,
• Abstract要約: 状況認識型eXplainability(SAX)は因果音と人間解釈可能な説明を生成する。 本稿では,SAX の説明を生成するために開発された SAX4BPM フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 1.8307218564634469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are likely to play a prominent role in future AI-augmented business process management systems (ABPMSs) catering functionalities across all system lifecycle stages. One such system's functionality is Situation-Aware eXplainability (SAX), which relates to generating causally sound and yet human-interpretable explanations that take into account the process context in which the explained condition occurred. In this paper, we present the SAX4BPM framework developed to generate SAX explanations. The SAX4BPM suite consists of a set of services and a central knowledge repository. The functionality of these services is to elicit the various knowledge ingredients that underlie SAX explanations. A key innovative component among these ingredients is the causal process execution view. In this work, we integrate the framework with an LLM to leverage its power to synthesize the various input ingredients for the sake of improved SAX explanations. Since the use of LLMs for SAX is also accompanied by a certain degree of doubt related to its capacity to adequately fulfill SAX along with its tendency for hallucination and lack of inherent capacity to reason, we pursued a methodological evaluation of the quality of the generated explanations. To this aim, we developed a designated scale and conducted a rigorous user study. Our findings show that the input presented to the LLMs aided with the guard-railing of its performance, yielding SAX explanations having better-perceived fidelity. This improvement is moderated by the perception of trust and curiosity. More so, this improvement comes at the cost of the perceived interpretability of the explanation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、将来のAIによって強化されたビジネスプロセス管理システム(ABPMS)において、システムライフサイクルのすべての段階にわたって機能的に機能する役割を担っている可能性が高い。 このようなシステムの機能の一つが状況認識型 eXplainability (SAX) であり、これは因果的な音を生成することと、説明された条件が生じたプロセスコンテキストを考慮に入れた人間解釈可能な説明に関係している。 本稿では,SAXを説明するために開発されたSAX4BPMフレームワークについて述べる。 SAX4BPMスイートは、一連のサービスと中央知識リポジトリで構成されています。 これらのサービスの機能は、SAXの説明の根底にある様々な知識材料を引き出すことである。 これらの要素の中で重要な革新的要素は、因果プロセス実行ビューである。 本研究では,このフレームワークをLLMと統合し,そのパワーを活用して各種入力成分を合成し,SAX説明の改善を図る。 また, LLMs for SAX の使用には, SAX を適切に満たす能力に一定の疑念が伴うため, 発生した説明の質の方法論的評価を追求した。 そこで我々は,指定尺度を開発し,厳密なユーザスタディを行った。 以上の結果から, LLMに提示した入力は, その性能のガードレール化を助長し, 精度が良好なSAX説明が得られた。 この改善は、信頼と好奇心の認識によって中和される。 さらに、この改善は説明の解釈可能性に対するコストがかかる。

関連論文リスト

• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• From Feature Importance to Natural Language Explanations Using LLMs with RAG [4.204990010424084]
  大規模言語モデル(LLM)の応答に外部知識リポジトリを活用して,トレーサブルな質問応答を導入する。 この知識リポジトリは、高レベルの特徴、特徴の重要性、代替確率を含む、モデルの出力に関するコンテキストの詳細を含む。 社会的・因果的・選択的・コントラスト的な4つの重要な特徴を、人間の説明に関する社会科学研究から一発のプロンプトへと統合し、応答生成過程を導く。
  論文  参考訳（メタデータ） (2024-07-30T17:27:20Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making [13.928951741632815]
  大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T00:34:28Z)
• LMExplainer: Grounding Knowledge and Explaining Language Models [37.578973458651944]
  GPT-4のような言語モデル(LM)は、AIアプリケーションにおいて重要であるが、不透明な意思決定プロセスは、特に安全クリティカルな領域において、ユーザの信頼を低下させる。 LMExplainerは,人間の直感的,理解可能な説明を通じて,LMの推論過程を明らかにする新しい知識基盤説明器である。
  論文  参考訳（メタデータ） (2023-03-29T08:59:44Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• "Explanation" is Not a Technical Term: The Problem of Ambiguity in XAI [2.5899040911480173]
  本稿では,これらの特徴を実用性評価に利用する方法について検討する。 我々は,機能的役割によって定義された説明の要件,理解しようとするユーザの知識状態,それらの生成に必要な情報の提供に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-27T21:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。