論文の概要: Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation

• arxiv url: http://arxiv.org/abs/2606.17383v1
• Date: Tue, 16 Jun 2026 00:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.186006
• Title: Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
• Title（参考訳）: エージェントAIシステムのモデル検証: 状態、予測、政策検証のためのPOMDPベースのフレームワーク
• Authors: Matthew Francis Dixon,
• Abstract要約: 本稿では,部分観測可能なマルコフ決定プロセス(POMDP)に基づくエージェントAIのモデル検証フレームワークを提案する。 このフレームワークは、自律的な意思決定を情報、信念、予測、行動、ユーティリティに分解し、各コンポーネントを独立して検証できるようにする。 この論文の主な貢献は、確立されたモデルリスク管理概念を自律型AIシステムに拡張するための実践的なフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic artificial intelligence systems introduce a new class of model risk. Unlike traditional predictive models, autonomous agents continuously acquire information, form beliefs regarding latent states of the environment, generate forecasts, select actions, and adapt their behavior over time. Existing validation methodologies focus primarily on predictive accuracy and therefore provide limited insight into the quality of the underlying decision process. This paper proposes a model validation framework for agentic AI based on Partially Observable Markov Decision Processes (POMDPs). The framework decomposes autonomous decision making into information, beliefs, forecasts, actions, and utility, allowing each component to be validated independently. Large language models (LLMs) are formalized as approximate Bayesian filtering operators, and a model-risk taxonomy is developed encompassing state-space, filtering, forecast, policy, utility-specification, and parameter risks. The model risk validation methodology is demonstrated through a portfolio-management case study in which an agent infers latent market regimes from market and macroeconomic information, generates belief-conditioned forecasts, and constructs portfolios using a Black--Litterman framework. Empirical validation combines performance analysis, belief calibration diagnostics, coverage tests, ablation studies, and parameter-sensitivity analysis. The results indicate that latent-state inference contributes independently to decision quality and that the principal conclusions remain robust across a broad range of parameter values. The principal contribution of the paper is a practical framework for extending established model risk management concepts to autonomous AI systems and providing a rigorous foundation for their validation, governance, and monitoring.
• Abstract（参考訳）: エージェント人工知能システムは、新しいタイプのモデルリスクを導入します。 従来の予測モデルとは異なり、自律エージェントは情報を取得し、環境の潜伏状態に関する信念を形成し、予測を生成し、行動を選択し、時間とともに行動に適応する。 既存の検証手法は主に予測精度に重点を置いており、従って根底にある意思決定プロセスの質について限られた洞察を与える。 本稿では,部分観測可能なマルコフ決定プロセス(POMDP)に基づくエージェントAIのモデル検証フレームワークを提案する。 このフレームワークは、自律的な意思決定を情報、信念、予測、行動、ユーティリティに分解し、各コンポーネントを独立して検証できるようにする。 大規模言語モデル(LLM)はベイズ的フィルタリング演算子として形式化され、状態空間、フィルタリング、予測、ポリシー、ユーティリティ特定、パラメータリスクを含むモデルリスク分類が開発されている。 モデルリスク検証手法は、エージェントが市場およびマクロ経済情報から潜在市場体制を推定し、信念条件付き予測を生成し、ブラック・リッターマン・フレームワークを用いてポートフォリオを構築するポートフォリオ管理ケーススタディを通じて実証される。 実証検証は、性能分析、信念の校正診断、カバレッジテスト、アブレーション研究、パラメータ感度分析を組み合わせたものである。 その結果、潜在状態推論は意思決定品質に独立して寄与し、主結論は幅広いパラメータ値にわたって頑健であることが示唆された。 この論文の主な貢献は、確立されたモデルリスク管理の概念を自律型AIシステムに拡張し、検証、ガバナンス、監視のための厳格な基盤を提供するための実践的なフレームワークである。

関連論文リスト

• Conformal Selective Prediction with General Risk Control [8.936337121607677]
  我々は、トレーニングされたモデルと、ユーザ定義、バウンダリ、継続的な評価のリスクに対して、そのような決定を導出するための新しいフレームワークを提案する。 SCoREは、システムがモデルを信頼することを選択したケースのリスクに関する2つの保証を提供する。 提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
  論文  参考訳（メタデータ） (2026-03-25T18:29:23Z)
• Agentic Problem Frames: A Systematic Approach to Engineering Reliable Domain Agents [0.0]
  大きな言語モデル(LLM)は、自律的なエージェントへと進化していますが、現在の"フレームワークレス"な開発は、あいまいな自然言語に基づいています。 本研究では,内部モデルインテリジェンスからエージェントと環境間の構造的相互作用に焦点を移すシステム工学フレームワークであるエージェント問題フレーム(APF)を提案する。
  論文  参考訳（メタデータ） (2026-02-22T06:32:32Z)
• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• Integrating Feature Attention and Temporal Modeling for Collaborative Financial Risk Assessment [4.0574735047490575]
  生データを共有せずに、複数の施設で共同モデリングとリスク識別を行うことができる。 この方法は、データ主権を維持しながら、リスク識別のスコープと効率を高める。
  論文  参考訳（メタデータ） (2025-08-13T00:29:53Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Providing reliability in Recommender Systems through Bernoulli Matrix Factorization [63.732639864601914]
  本稿では,予測値と信頼性値の両方を提供するためにBernoulli Matrix Factorization (BeMF)を提案する。 BeMFはメモリベースのフィルタリングではなく、モデルベースの協調フィルタリングに作用する。 予測の信頼性が高ければ高いほど、それが間違っているという責任は少なくなる。
  論文  参考訳（メタデータ） (2020-06-05T14:24:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。