論文の概要: Task-Level AI Readiness Assessment for Business Process Management:The T-IPO Model and LARA Matrix in Financial-Services IT Operations
- arxiv url: http://arxiv.org/abs/2605.16297v1
- Date: Thu, 16 Apr 2026 10:10:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 12:34:33.868805
- Title: Task-Level AI Readiness Assessment for Business Process Management:The T-IPO Model and LARA Matrix in Financial-Services IT Operations
- Title(参考訳): 業務プロセス管理のためのタスクレベルAI準備性評価:金融サービスIT運用におけるT-IPOモデルとLARAマトリックス
- Authors: Mingjun Li, Xiaojun Ye,
- Abstract要約: 金融サービスIT環境で開発された2つのデザインアーティファクトについて述べる。
LLMエージェント準備度評価は、エージェント置換のためのタスクの準備度を評価する。
120タスクインスタンスのパイロットデプロイでは、自動補完はL1で95%ドルからL2で約70%ドルからL3で約40%ドルへと単調に崩壊する。
- 参考スコア(独自算出の注目度): 1.8200820102702586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Which tasks inside an enterprise workflow can a large-language-model agent reliably handle, and under what conditions? Most business process modeling frameworks still answer this at the activity level, even though a single activity can bundle work of radically different difficulty. This paper takes the analysis a step smaller. We describe two design artifacts developed in a financial-services IT setting: T-IPO, which represents each task as an eight-element tuple, and LARA (LLM Agent Readiness Assessment), a five-dimension rubric that scores a task's readiness for agent substitution. Compliance Sensitivity carries $1.5\times$ weight, a value we fixed through a three-round Delphi study and cross-checked with AHP. The rubric produces four levels, L1 to L4, and applies a floor rule so that a task with maximum compliance load cannot be classified below L3 no matter what the other scores say. Both artifacts sit inside a larger methodology (PARTIS) that we map onto BWW ontology in Section 3. We evaluate the instruments across 127 tasks. Inter-rater agreement reaches Fleiss' $κ= 0.80$; a replication at three further institutions returns $κ= 0.73$. A controlled comparison against activity-level assessment suggests, though does not prove, an improvement in predictive utility at the task level. Pilot deployment of 120 task instances confirms that auto-completion decays monotonically from $95\%$ at L1 through about $70\%$ at L2 to about $40\%$ at L3. Exploratory factor analysis points to a two-factor structure: task readiness seems to be determined jointly by cognitive-execution complexity and governance-compliance intensity. We close with a recalibration procedure (LARA-TCA) so the rubric can keep pace with evolving LLM capabilities.
- Abstract(参考訳): エンタープライズワークフロー内のどのタスクが、大規模言語モデルエージェントが確実に、どんな条件下で処理できるのか?
ほとんどのビジネスプロセスモデリングフレームワークは、ひとつのアクティビティが根本的に異なる難しさの作業を束ねることができるにもかかわらず、まだこれをアクティビティレベルで答えています。
本稿ではその分析を少し小さくする。
金融サービスIT環境で開発された2つのデザインアーティファクトについて述べる。T-IPOは、各タスクを8要素タプルとして表現し、LLMエージェント即応性評価(LLM Agent Readiness Assessment)は、タスクのエージェント置換の準備性を評価する5次元ルーリックである。
Compliance Sensitivityは1.5\times$weightを持ち、Delphiの3ラウンドの研究で、AHPとクロスチェックした。
ルーリックはL1からL4の4つのレベルを生成し、フロアルールを適用して、最大のコンプライアンス負荷を持つタスクが、他のスコアが何を言おうともL3以下に分類できないようにする。
どちらのアーティファクトも、セクション3のBWWオントロジーにマップするより大きな方法論(PARTIS)の中にあります。
計器を127のタスクで評価する。
Fleissの$κ= 0.80$に到達し、さらに3つの機関での複製で$κ= 0.73$が返される。
アクティビティレベルの評価に対する制御された比較では、タスクレベルでの予測ユーティリティの改善が示唆されているが、証明されていない。
120のタスクインスタンスをパイロットデプロイすると、自動補完はL1で$95\%からL2で$70\%からL3で約$40\%まで単調に崩壊する。
探索的因子分析(Exploratory factor analysis)は2要素構造を示している: タスクの即応性は認知・実行の複雑さとガバナンス・コンプライアンスの強度によって共同で決定される。
再校正術 (LARA-TCA) を施行し, LLM 能の発達に伴い, ルーブリックの維持を図った。
関連論文リスト
- Context, Reasoning, and Hierarchy: A Cost-Performance Study of Compound LLM Agent Design in an Adversarial POMDP [3.774094352572544]
プログラム状態抽象化は、使用されるトークン当たりの最大のリターンを提供する。
階層をまたいだ議論ツールの配布は、階層のみに対するパフォーマンスを低下させる。
議論のない階層分解は、ほとんどのモデルにとって最高の絶対的な性能を達成する。
論文 参考訳(メタデータ) (2026-05-15T17:23:08Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳(メタデータ) (2026-05-11T16:20:51Z) - When LLMs Team Up: A Coordinated Attack Framework for Automated Cyber Intrusions [27.62993988829038]
本稿では,侵入型タスク分析のための協調型マルチエージェントフレームワークであるCAESARを提案する。
CAESARはワークフローを5つの型付きロールに分解し、境界付きプロトコルを介してそれらを調整する。
予算とツールアクセスが一致した単一エージェントベースラインと比較して、CAESARはタスクの成功を改善し、パフォーマンスのばらつきを低減する。
論文 参考訳(メタデータ) (2026-05-09T07:47:42Z) - Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。
コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。
76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
論文 参考訳(メタデータ) (2026-05-06T19:59:51Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Benchmarking LLM Agents for Wealth-Management Workflows [0.0]
この論文はTheAgentCompanyを金融に焦点を当てた環境に拡張している。
本研究は、汎用LLMエージェントが、精密かつ経済的に代表的富管理タスクを完了できるかどうかを調査する。
論文 参考訳(メタデータ) (2025-12-01T21:56:21Z) - MCPMark: A Benchmark for Stress-Testing Realistic and Comprehensive MCP Use [27.978435634514128]
MCPMarkは、より現実的で包括的な方法でMPPの使用を評価するために設計されたベンチマークである。
ドメインの専門家とAIエージェントが共同で作成した127ドルの高品質なタスクで構成されている。
平均して、LCMは16.2ドル、タスクごとに17.4ドルのツールコールを必要とし、以前のMPPベンチマークよりも大幅に上回っている。
論文 参考訳(メタデータ) (2025-09-28T17:53:27Z) - ADaPT: As-Needed Decomposition and Planning with Language Models [131.063805299796]
As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。
ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。
以上の結果から,ADaPTは強いベースラインを確立した。
論文 参考訳(メタデータ) (2023-11-08T17:59:15Z) - A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。
具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。
我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
論文 参考訳(メタデータ) (2023-10-03T16:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。