論文の概要: How well can large language models explain business processes?

• arxiv url: http://arxiv.org/abs/2401.12846v1
• Date: Tue, 23 Jan 2024 15:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 15:21:33.755517
• Title: How well can large language models explain business processes?
• Title（参考訳）: 大規模言語モデルはビジネスプロセスをどの程度説明できるのか?
• Authors: Dirk Fahland, Fabian Fournier, Lior Limonad, Inna Skarbovsky, Ava J.E. Swevels
• Abstract要約: 状況認識型eXplainability(SAX)は因果音と人間解釈可能な説明を生成する。 本稿では,SAX の説明を生成するために開発された SAX4BPM フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 1.1534313664323634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are likely to play a prominent role in future AI-augmented business process management systems (ABPMSs) catering functionalities across all system lifecycle stages. One such system's functionality is Situation-Aware eXplainability (SAX), which relates to generating causally sound and yet human-interpretable explanations that take into account the process context in which the explained condition occurred. In this paper, we present the SAX4BPM framework developed to generate SAX explanations. The SAX4BPM suite consists of a set of services and a central knowledge repository. The functionality of these services is to elicit the various knowledge ingredients that underlie SAX explanations. A key innovative component among these ingredients is the causal process execution view. In this work, we integrate the framework with an LLM to leverage its power to synthesize the various input ingredients for the sake of improved SAX explanations. Since the use of LLMs for SAX is also accompanied by a certain degree of doubt related to its capacity to adequately fulfill SAX along with its tendency for hallucination and lack of inherent capacity to reason, we pursued a methodological evaluation of the quality of the generated explanations. To this aim, we developed a designated scale and conducted a rigorous user study. Our findings show that the input presented to the LLMs aided with the guard-railing of its performance, yielding SAX explanations having better-perceived fidelity. This improvement is moderated by the perception of trust and curiosity. More so, this improvement comes at the cost of the perceived interpretability of the explanation.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は、将来のAI強化ビジネスプロセス管理システム(ABPMSs)において、すべてのシステムライフサイクルステージにおける機能強化において、顕著な役割を果たす可能性が高い。 そのようなシステムの機能の一つは状況認識説明可能性(sax)であり、説明条件が生じたプロセスコンテキストを考慮した因果的健全な説明を生成することに関連している。 本稿では,SAXを説明するために開発されたSAX4BPMフレームワークについて述べる。 SAX4BPMスイートは、一連のサービスと中央知識リポジトリで構成されています。 これらのサービスの機能は、SAXの説明の根底にある様々な知識材料を引き出すことである。 これらの要素の中で重要な革新的要素は、因果プロセス実行ビューである。 本研究では,この枠組みをllmと統合し,そのパワーを活かし,サクソフォーン説明の改善のために様々な入力成分を合成する。 サクソフォーンに対するllmの使用には、サクソフォーンを適切に満たす能力に関するある程度の疑念と、幻覚の傾向、理性への固有の能力の欠如が伴うため、生成された説明の質に関する方法論的評価を追求した。 この目的のために,指定尺度を開発し,厳格なユーザ調査を行った。 以上の結果から, LLMに提示した入力は, その性能のガードレール化を助長し, 精度が良好なSAX説明が得られた。 この改善は信頼と好奇心の認識によって緩和される。 さらに、この改善は、説明の解釈可能性の認識のコストによってもたらされる。

関連論文リスト

• Policy-to-Language: Train LLMs to Explain Decisions with Flow-Matching Generated Rewards [37.063288509982904]
  LLMに基づくモデルに依存しない説明生成器を構築する。 このLSMをトレーニングする報酬は、生成フローマッチングモデルによって生成される。 RLタスクとLLMタスクの両方の実験により、高額な人的フィードバックを節約しながら、高密度で効果的な報酬を生成できることが実証された。
  論文  参考訳（メタデータ） (2025-02-18T04:34:45Z)
• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
  大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。 本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-16T13:46:06Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making [13.928951741632815]
  大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T00:34:28Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• The Role of Individual User Differences in Interpretable and Explainable Machine Learning Systems [0.3169089186688223]
  本研究では,機械学習が生成したモデル出力から,個人のスキルや性格特性が解釈可能性,説明可能性,知識発見をどのように予測するかを検討する。 我々の研究は、人間がどのように数値的な刺激を処理するかという主要な理論であるファジィ・トレース理論に依存している。
  論文  参考訳（メタデータ） (2020-09-14T18:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。