論文の概要: How well can large language models explain business processes as perceived by users?

• arxiv url: http://arxiv.org/abs/2401.12846v3
• Date: Mon, 23 Dec 2024 19:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:52:50.560454
• Title: How well can large language models explain business processes as perceived by users?
• Title（参考訳）: 大規模言語モデルは、ユーザが認識したビジネスプロセスをどの程度うまく説明できますか?
• Authors: Dirk Fahland, Fabiana Fournier, Lior Limonad, Inna Skarbovsky, Ava J. E. Swevels,
• Abstract要約: 大規模言語モデル(LLM)は、人間のような文章を解釈し、生成するために大量のテキストで訓練される。 そのようなシステムの1つの機能は、因果的音と人間解釈可能な説明を生成することに関連する状況認識eXplainability (SAX)である。 本稿では,SAX の説明を生成するために開発された SAX4BPM フレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 1.8307218564634469
• License:
• Abstract: Large Language Models (LLMs) are trained on a vast amount of text to interpret and generate human-like textual content. They are becoming a vital vehicle in realizing the vision of the autonomous enterprise, with organizations today actively adopting LLMs to automate many aspects of their operations. LLMs are likely to play a prominent role in future AI-augmented business process management systems, catering functionalities across all system lifecycle stages. One such system's functionality is Situation-Aware eXplainability (SAX), which relates to generating causally sound and human-interpretable explanations. In this paper, we present the SAX4BPM framework developed to generate SAX explanations. The SAX4BPM suite consists of a set of services and a central knowledge repository. The functionality of these services is to elicit the various knowledge ingredients that underlie SAX explanations. A key innovative component among these ingredients is the causal process execution view. In this work, we integrate the framework with an LLM to leverage its power to synthesize the various input ingredients for the sake of improved SAX explanations. Since the use of LLMs for SAX is also accompanied by a certain degree of doubt related to its capacity to adequately fulfill SAX along with its tendency for hallucination and lack of inherent capacity to reason, we pursued a methodological evaluation of the perceived quality of the generated explanations. We developed a designated scale and conducted a rigorous user study. Our findings show that the input presented to the LLMs aided with the guard-railing of its performance, yielding SAX explanations having better-perceived fidelity. This improvement is moderated by the perception of trust and curiosity. More so, this improvement comes at the cost of the perceived interpretability of the explanation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間のような文章を解釈し、生成するために大量のテキストで訓練される。 自律的な企業のビジョンを実現する上で、彼らは重要な手段になりつつある。今日、組織はLLMを積極的に採用して、運用のさまざまな側面を自動化する。 LLMは、将来のAIによって強化されたビジネスプロセス管理システムにおいて、すべてのシステムライフサイクルステージにおける機能強化において、顕著な役割を果たす可能性が高い。 そのようなシステムの1つの機能は、因果的音と人間解釈可能な説明を生成することに関連する状況認識eXplainability (SAX)である。 本稿では,SAXを説明するために開発されたSAX4BPMフレームワークについて述べる。 SAX4BPMスイートは、一連のサービスと中央知識リポジトリで構成されています。 これらのサービスの機能は、SAXの説明の根底にある様々な知識材料を引き出すことである。 これらの要素の中で重要な革新的要素は、因果プロセス実行ビューである。 本研究では,このフレームワークをLLMと統合し,様々な入力成分を合成し,SAX説明の改善を図る。 また, LLMs for SAX の使用には, SAX を適切に満たす能力に一定の疑念が伴い, 幻覚の傾向や理性に固有の能力が欠如していることから, 生成した説明の知覚的品質の方法論的評価を追求した。 指定尺度を作成し,厳密なユーザスタディを行った。 以上の結果から, LLMに提示した入力は, その性能のガードレール化を助長し, 精度が良好なSAX説明が得られた。 この改善は、信頼と好奇心の認識によって中和される。 さらに、この改善は説明の解釈可能性に対するコストがかかる。

関連論文リスト

• Policy-to-Language: Train LLMs to Explain Decisions with Flow-Matching Generated Rewards [37.063288509982904]
  LLMに基づくモデルに依存しない説明生成器を構築する。 このLSMをトレーニングする報酬は、生成フローマッチングモデルによって生成される。 RLタスクとLLMタスクの両方の実験により、高額な人的フィードバックを節約しながら、高密度で効果的な報酬を生成できることが実証された。
  論文  参考訳（メタデータ） (2025-02-18T04:34:45Z)
• Automatically Interpreting Millions of Features in Large Language Models [1.8035046415192353]
  スパースオートエンコーダ(SAE)は、活性化を高次元の潜在空間に変換するために用いられる。 SAEの機能に関する自然言語の説明を生成・評価するためのオープンソースのパイプラインを構築します。 我々の大規模分析は、SAE潜伏剤がニューロンよりもはるかに解釈可能であることを確認しています。
  論文  参考訳（メタデータ） (2024-10-17T17:56:01Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
  大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。 本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-16T13:46:06Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making [13.928951741632815]
  大規模言語モデル(LLM)は、最近、自然言語理解タスクにおいて顕著な進歩を遂げた。 本稿では、新しい説明データセットを導入することにより、このプロセスに透明性をもたらすことを検討する。 我々のデータセットには12,102のQAEトリプルが含まれている。
  論文  参考訳（メタデータ） (2023-11-15T00:34:28Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• The Role of Individual User Differences in Interpretable and Explainable Machine Learning Systems [0.3169089186688223]
  本研究では,機械学習が生成したモデル出力から,個人のスキルや性格特性が解釈可能性,説明可能性,知識発見をどのように予測するかを検討する。 我々の研究は、人間がどのように数値的な刺激を処理するかという主要な理論であるファジィ・トレース理論に依存している。
  論文  参考訳（メタデータ） (2020-09-14T18:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。