論文の概要: Quantifying Trust: Financial Risk Management for Trustworthy AI Agents
- arxiv url: http://arxiv.org/abs/2604.03976v1
- Date: Sun, 05 Apr 2026 05:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.856205
- Title: Quantifying Trust: Financial Risk Management for Trustworthy AI Agents
- Title(参考訳): 信頼の定量化 - 信頼できるAIエージェントの金融リスク管理
- Authors: Wenyue Hua, Tianyi Peng, Chi Wang, Ian Kaufman, Bryan Lim, Chandler Fang,
- Abstract要約: AIを利用したトランザクションの決済標準であるARSを導入する。
ARSはリスクアセスメント、引受け、補償を単一のトランザクションフレームワークに統合する。
ARSは、モデル行動に関する暗黙の期待から、明示的で測定可能な、強制可能な製品保証へと、信頼をシフトします。
- 参考スコア(独自算出の注目度): 27.23487816533652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior work on trustworthy AI emphasizes model-internal properties such as bias mitigation, adversarial robustness, and interpretability. As AI systems evolve into autonomous agents deployed in open environments and increasingly connected to payments or assets, the operational meaning of trust shifts to end-to-end outcomes: whether an agent completes tasks, follows user intent, and avoids failures that cause material or psychological harm. These risks are fundamentally product-level and cannot be eliminated by technical safeguards alone because agent behavior is inherently stochastic. To address this gap between model-level reliability and user-facing assurance, we propose a complementary framework based on risk management. Drawing inspiration from financial underwriting, we introduce the \textbf{Agentic Risk Standard (ARS)}, a payment settlement standard for AI-mediated transactions. ARS integrates risk assessment, underwriting, and compensation into a single transaction framework that protects users when interacting with agents. Under ARS, users receive predefined and contractually enforceable compensation in cases of execution failure, misalignment, or unintended outcomes. This shifts trust from an implicit expectation about model behavior to an explicit, measurable, and enforceable product guarantee. We also present a simulation study analyzing the social benefits of applying ARS to agentic transactions. ARS's implementation can be found at https://github.com/t54-labs/AgenticRiskStandard.
- Abstract(参考訳): 信頼に値するAIに関する以前の研究は、バイアス緩和、敵対的堅牢性、解釈可能性などのモデル内部特性を強調していた。
AIシステムがオープンな環境に展開され、支払いや資産と結びついている自律的なエージェントへと進化するにつれて、信頼の運用の意味はエンドツーエンドの結果へとシフトする。
これらのリスクは基本的に製品レベルであり、エージェントの振る舞いが本質的に確率的であるため、技術的保護だけでは排除できない。
モデルレベルの信頼性とユーザ対応保証のギャップを解消するために,リスク管理に基づく補完的枠組みを提案する。
財務的な引受からインスピレーションを得て,AIによる取引の決済決済標準である \textbf{Agentic Risk Standard (ARS) を導入する。
ARSはリスクアセスメント、引受、補償を単一のトランザクションフレームワークに統合し、エージェントと対話する際にユーザを保護する。
ARSでは、ユーザは、実行障害、修正ミス、意図しない結果の場合に、事前に定義された、契約的に強制可能な補償を受けます。
これは、モデル行動に関する暗黙の期待から、明示的で測定可能な、強制可能な製品保証へと、信頼をシフトさせる。
また,エージェント取引にARSを適用することの社会的メリットをシミュレーションした。
ARSの実装はhttps://github.com/t54-labs/AgenticRiskStandardで見ることができる。
関連論文リスト
- The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳(メタデータ) (2026-01-21T15:22:21Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳(メタデータ) (2026-01-12T21:31:38Z) - PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach [49.14349403242654]
我々は、リスクを伴う行動に関わるモデルの確率を評価する新しいベンチマークフレームワークであるtextbfPropensityBench$を提示する。
私たちのフレームワークには,サイバーセキュリティ,自己増殖,バイオセキュリティ,化学セキュリティという,リスクの高い4つのドメインにまたがる6,648のツールを備えた,5,874のシナリオが含まれています。
オープンソースとプロプライエタリなフロンティアモデル全体で、私たちは9つの不確実性の兆候を発見しました。
論文 参考訳(メタデータ) (2025-11-24T18:46:44Z) - Uncertainty-Aware, Risk-Adaptive Access Control for Agentic Systems using an LLM-Judged TBAC Model [11.50995963023462]
本稿では,大規模言語モデル(LLM)を自律的かつリスクを意識した判断として利用することにより,タスクベースアクセス制御(TBAC)モデルを拡張した高度なセキュリティフレームワークを提案する。
このモデルは、エージェントの意図に基づいてアクセス制御決定を行うだけでなく、ターゲットリソースに関連する固有のテキストbfriskを明示的に考慮することによって、アクセス制御を決定する。
論文 参考訳(メタデータ) (2025-10-13T13:52:33Z) - Co-Investigator AI: The Rise of Agentic AI for Smarter, Trustworthy AML Compliance Narratives [2.7295959384567356]
Co-Investigator AIは、SAR(Suspicious Activity Reports)の作成に最適化されたエージェントフレームワークであり、従来の方法よりも大幅に高速で精度が高い。
我々は、SARの草案作成を効率化し、物語を規制上の期待と一致させ、コンプライアンスチームが高次の分析作業に集中できるようにする能力を示します。
論文 参考訳(メタデータ) (2025-09-10T08:16:04Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - Emergent Risk Awareness in Rational Agents under Resource Constraints [2.69407449467596]
この研究は、生存圧力下で活動するAIエージェントの創発的行動の理解と解釈可能性を高めることを目的としている。
我々は、生存駆動の嗜好シフトの影響を定量化する理論的および経験的な結果を提供する。
リスク探索やリスク回避行動の出現を緩和するメカニズムを提案する。
論文 参考訳(メタデータ) (2025-05-29T13:31:12Z) - Do LLMs trust AI regulation? Emerging behaviour of game-theoretic LLM agents [61.132523071109354]
本稿では、異なる規制シナリオ下での戦略選択をモデル化する、AI開発者、規制当局、ユーザ間の相互作用について検討する。
我々の研究は、純粋なゲーム理論エージェントよりも「悲観的」な姿勢を採用する傾向にある戦略的AIエージェントの出現する振る舞いを特定する。
論文 参考訳(メタデータ) (2025-04-11T15:41:21Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳(メタデータ) (2023-12-28T16:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。