論文の概要: FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
- arxiv url: http://arxiv.org/abs/2601.07853v1
- Date: Fri, 09 Jan 2026 03:25:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:18.870731
- Title: FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
- Title（参考訳）: FinVault:実行環境における金融エージェントの安全性のベンチマーク
- Abstract要約: FinVaultは、金融エージェントのための最初の実行基盤セキュリティベンチマークである。
現実的な金融エージェント設定では,既存の防衛機構が依然として有効ではないことを示す。
- 参考スコア（独自算出の注目度）: 29.19862712902908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Financial agents powered by large language models (LLMs) are increasingly deployed for investment analysis, risk assessment, and automated decision-making, where their abilities to plan, invoke tools, and manipulate mutable state introduce new security risks in high-stakes and highly regulated financial environments. However, existing safety evaluations largely focus on language-model-level content compliance or abstract agent settings, failing to capture execution-grounded risks arising from real operational workflows and state-changing actions. To bridge this gap, we propose FinVault, the first execution-grounded security benchmark for financial agents, comprising 31 regulatory case-driven sandbox scenarios with state-writable databases and explicit compliance constraints, together with 107 real-world vulnerabilities and 963 test cases that systematically cover prompt injection, jailbreaking, financially adapted attacks, as well as benign inputs for false-positive evaluation. Experimental results reveal that existing defense mechanisms remain ineffective in realistic financial agent settings, with average attack success rates (ASR) still reaching up to 50.0\% on state-of-the-art models and remaining non-negligible even for the most robust systems (ASR 6.7\%), highlighting the limited transferability of current safety designs and the need for stronger financial-specific defenses. Our code can be found at https://github.com/aifinlab/FinVault.
- Abstract（参考訳）: 大規模言語モデル(LLM)を利用した金融エージェントは、投資分析、リスクアセスメント、自動意思決定のためにますます多くデプロイされている。
しかし、既存の安全性評価は、言語モデルレベルのコンテンツコンプライアンスや抽象エージェント設定に重点を置いている。
このギャップを埋めるために、ファイナンシャルエージェントのための最初の実行基盤セキュリティベンチマークであるFinVaultを提案する。これは、31の規制ケース駆動のサンドボックスシナリオと、状態記述可能なデータベースと明示的なコンプライアンス制約と、プロンプトインジェクション、ジェイルブレイク、金銭的に適応した攻撃を体系的にカバーする107の現実世界の脆弱性と963のテストケースと、偽陽性評価のための良質な入力を含む。
実験結果によると、既存の防衛機構は現実的な金融エージェント設定では効果が低いままであり、平均攻撃成功率(ASR)は最先端のモデルでは最大50.0 %まで到達し、最も堅牢なシステム(ASR 6.7 %)でも無視できないままであり、現在の安全設計の伝達可能性の制限と、より強力な金融特有の防衛の必要性を強調している。
私たちのコードはhttps://github.com/aifinlab/FinVault.orgで参照できます。
関連論文リスト
- SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。
ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
論文 参考訳（メタデータ） (2026-06-01T14:23:42Z) - Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。
フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。
全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
論文 参考訳（メタデータ） (2026-05-14T04:30:49Z) - FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios [20.47244088110227]
大規模言語モデル(LLM)は金融シナリオにますます適用されてきている。
違法行為や非倫理的行為の促進など、有害なアウトプットを生み出すこともある。
We propose FinSafetyBench, a benchmark designed to test a LLM's refusal of request that violate financial compliance。
論文 参考訳（メタデータ） (2026-05-01T14:51:24Z) - From Risk to Rescue: An Agentic Survival Analysis Framework for Liquidation Prevention [46.90931293070464]
本稿では,リスクを認識し,対実的未来をシミュレートし,積極的に清算を防止するためのプロトコルに忠実な介入を行う自律エージェントを提案する。
我々は,ハイリスクユーザプロファイル4,882のコホート上で,高忠実でプロトコルに忠実なAave v3シミュレータを用いて,我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-04-16T03:22:05Z) - Conversations Risk Detection LLMs in Financial Agents via Multi-Stage Generative Rollout [7.95412748755362]
FinSecは金融エージェントのための4層セキュリティ検出フレームワークである。
実際の金融リスクを構造化し、解釈し、エンドツーエンドで識別することができる。
高リスク対話検出の堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-10T07:29:39Z) - SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。
しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。
我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文 参考訳（メタデータ） (2026-04-04T04:29:11Z) - Risk-Adjusted Harm Scoring for Automated Red Teaming for LLMs in Financial Services [0.0]
本稿では,銀行,金融サービス,保険のセキュリティ障害に対するリスク対応評価フレームワークを提案する。
我々は、金融害のドメイン固有の分類法、自動化されたマルチラウンド赤チームパイプライン、およびアンサンブルに基づく判断プロトコルを組み合わせる。
論文 参考訳（メタデータ） (2026-03-11T14:14:13Z) - VERAFI: Verified Agentic Financial Intelligence through Neurosymbolic Policy Generation [2.43679682660038]
VERAFIは、検証された金融インテリジェンスのためのニューロシンボリックポリシー生成のためのエージェントフレームワークである。
VERAFIは最先端の高密度検索とクロスエンコーダを、金融ツール対応エージェントと自動推論ポリシーと組み合わせている。
論文 参考訳（メタデータ） (2025-12-12T17:17:43Z) - PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach [49.14349403242654]
我々は、リスクを伴う行動に関わるモデルの確率を評価する新しいベンチマークフレームワークであるtextbfPropensityBench$を提示する。
私たちのフレームワークには,サイバーセキュリティ,自己増殖,バイオセキュリティ,化学セキュリティという,リスクの高い4つのドメインにまたがる6,648のツールを備えた,5,874のシナリオが含まれています。
オープンソースとプロプライエタリなフロンティアモデル全体で、私たちは9つの不確実性の兆候を発見しました。
論文 参考訳（メタデータ） (2025-11-24T18:46:44Z) - Uncovering the Vulnerability of Large Language Models in the Financial Domain via Risk Concealment [29.36824550283463]
大規模言語モデル(LLM)は、金融アプリケーションにますます統合されているが、既存のリピート研究は主に有害なコンテンツをターゲットにしている。
リスク・コンセロメント・アタック(RCA: Risk-Concealment Attacks)は、規制のリスクを反復的に隠蔽し、コンプライアンスに適合しているように見えるが規制に違反する応答を誘発する新しいマルチターン・フレームワークである。
FIN-Benchの実験では、RCAは9つの主要なLCMを効果的にバイパスし、平均攻撃成功率(ASR)は93.18%、GPT-4.1は98.28%、OpenAI o1は97.56%に達した。
論文 参考訳（メタデータ） (2025-09-07T22:35:15Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - "Blockchain-Enabled Zero Trust Framework for Securing FinTech Ecosystems Against Insider Threats and Cyber Attacks" [0.6437284704257459]
セキュリティメカニズムは、インサイダー攻撃、マルウェア侵入、APT(Advanced Persistent Threats)のような進化する脅威に対して不十分である
本稿では、ブロックチェーン統合Zero Trustフレームワークを提案し、"Never Trust, Always"の原則に準拠した。
このフレームワークはスマートコントラクトを使用して、MFA(Multi Factor Authentication)、RBAC(Role-Based Access Control)、Just-In-Time(JIT)アクセス権限を強制する。
論文 参考訳（メタデータ） (2025-07-26T15:21:04Z) - Agentar-Fin-R1: Enhancing Financial Intelligence through Domain Expertise, Training Efficiency, and Advanced Reasoning [12.548390779247987]
本稿では,Agensar-Fin-R1シリーズを紹介する。
我々の最適化手法は、高品質で体系的な金融タスクラベルシステムを統合する。
われわれのモデルは、主要な金融指標を総合的に評価している。
論文 参考訳（メタデータ） (2025-07-22T17:52:16Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - Standard Benchmarks Fail - Auditing LLM Agents in Finance Must Prioritize Risk [31.43947127076459]
標準ベンチマークでは、大規模言語モデル(LLM)エージェントが金融面でどれだけうまく機能するかを定めているが、デプロイの安全性についてはほとんど語っていない。
我々は、精度の指標とリターンベースのスコアが、幻覚的な事実、古いデータ、敵の迅速な操作などの脆弱性を見渡すことで、信頼性の錯覚をもたらすと論じている。
論文 参考訳（メタデータ） (2025-02-21T12:56:15Z) - Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳（メタデータ） (2024-12-19T02:35:15Z) - Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。
これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。
ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
論文 参考訳（メタデータ） (2023-09-25T17:08:02Z) - Safety Margins for Reinforcement Learning [53.10194953873209]
安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。
Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
論文 参考訳（メタデータ） (2023-07-25T16:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。