論文の概要: FFinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming
- arxiv url: http://arxiv.org/abs/2606.19887v1
- Date: Thu, 18 Jun 2026 07:46:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.706388
- Title: FFinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming
- Title（参考訳）: FFinRED:金融LLM再チームのためのエキスパートガイドによるベンチマーク生成と評価フレームワーク
- Authors: Chaeyun Kim, Daeyoung Park, Junghwan Kim, Jinyoung Jeong, Eunji Song, Yongtaek Lim, Minwoo Kim,
- Abstract要約: 既存の安全ベンチマークは、一般的な敵シナリオをターゲットにしているが、金融特有のリスクを見逃している。
金融専門家と共同開発した金融安全評価のための,専門家が指導するレッドチームフレームワークであるFinREDを紹介する。
FinREDは、グローバル標準を規制回避から複雑な詐欺まで、スケーラブルなパイプラインに統合された脅威にマッピングする、新たな2段階の分類基準を使用している。
- 参考スコア（独自算出の注目度）: 11.54323482443491
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing safety benchmarks target general adversarial scenarios but miss finance-specific risks. Financial LLMs face regulatory compliance violations, fraud facilitation, and systemic trust erosion that require targeted evaluation. We introduce FinRED, an expert-guided red-teaming framework for financial LLM safety evaluation developed with financial experts. FinRED uses a novel two-level taxonomy mapping global standards (e.g., FATF and EU DORA) to threats ranging from regulatory evasion to complex fraud, integrated with a scalable pipeline that converts real financial documents into context-rich red-teaming Behavioral Prompts (seeds) through an expert-defined schema. Rigorous expert validation confirms seed plausibility and realism for meaningful LLM safety evaluation. We also provide an expert-validated, finance-specific rubric that goes beyond disclaimer checks, aligns more closely with human experts than static one-size-fits-all rubrics, and reduces critical false negatives from 28 to 12. Aligned with internationally adopted risk-management and information-security standards (e.g., ISO/IEC 27001), FinRED is deployed in South Korea's Financial Security Institute (FSI) regulatory sandbox for generative AI security evaluation in real financial services. To mitigate dual-use risks, the dataset, generation pipeline, prompt template, and evaluation framework are gated for qualified researchers at https://github.com/selectstar-ai/FinRED-paper and https://huggingface.co/datasets/datumo/FinRED.
- Abstract（参考訳）: 既存の安全ベンチマークは、一般的な敵シナリオをターゲットにしているが、金融特有のリスクを見逃している。
金融LLMは、規制の遵守違反、詐欺のファシリテーション、および対象とする評価を必要とするシステム的信頼の侵食に直面している。
我々は金融専門家と共同開発した金融LLM安全性評価のための専門家誘導型レッドチームフレームワークであるFinREDを紹介する。
FinREDでは,規制回避から複雑な詐欺に至るまで,新たな2段階のグローバル標準(FATFやEU DORAなど)を,現実の財務資料をコンテキストに富んだレッドチーム行動プロンプト(種子)に変換するスケーラブルなパイプラインに統合した,新たな2段階の分類基準を使用している。
厳密な専門家による検証は、有意義なLLM安全性評価のための種子の妥当性と現実性を確認する。
また、専門家公認のファイナンス固有のルーリックも提供しています。これは、ディスラプターチェックを超えて、静的なワンサイズフルルーリックよりも人間の専門家と緊密に連携し、致命的な偽陰性を28から12に減らします。
国際的に採用されているリスク管理と情報セキュリティ標準(ISO/IEC 27001など)に従って、FinREDは実際の金融サービスにおけるAIセキュリティ評価のための、韓国の金融セキュリティ研究所(FSI)の規制サンドボックスに展開されている。
デュアルユースリスクを軽減するため、データセット、生成パイプライン、プロンプトテンプレート、評価フレームワークは、https://github.com/selectstar-ai/FinRED-paperとhttps://huggingface.co/datasets/datumo/FinREDの資格のある研究者向けに公開されている。
関連論文リスト
- FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios [20.47244088110227]
大規模言語モデル(LLM)は金融シナリオにますます適用されてきている。
違法行為や非倫理的行為の促進など、有害なアウトプットを生み出すこともある。
We propose FinSafetyBench, a benchmark designed to test a LLM's refusal of request that violate financial compliance。
論文 参考訳（メタデータ） (2026-05-01T14:51:24Z) - SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning [59.20983102634086]
アラビア財務NLPとシャリヤ対応推論のための文書グラウンドベンチマークと命令チューニングデータセットであるSAHMを紹介する。
SAHMには、AAOIFI標準QA、fatwaベースのQA/MCQ、会計とビジネス試験、財務感情分析、抽出要約、イベント起因推論の7つのタスクにまたがる14,380のエキスパート認定インスタンスが含まれている。
アラビア語の流布は、証拠を根拠とした金銭的推論に確実に変換されない。
論文 参考訳（メタデータ） (2026-04-21T05:24:08Z) - Risk-Adjusted Harm Scoring for Automated Red Teaming for LLMs in Financial Services [0.0]
本稿では,銀行,金融サービス,保険のセキュリティ障害に対するリスク対応評価フレームワークを提案する。
我々は、金融害のドメイン固有の分類法、自動化されたマルチラウンド赤チームパイプライン、およびアンサンブルに基づく判断プロトコルを組み合わせる。
論文 参考訳（メタデータ） (2026-03-11T14:14:13Z) - Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection [64.75447949495307]
大規模言語モデル (LLM) は金融分野に広く適用されている。
行動バイアスは、意思決定における不安定性と不確実性をもたらす可能性がある。
mfmdscenは様々な経済シナリオで mfmdの行動バイアスを評価するベンチマークです
論文 参考訳（メタデータ） (2026-01-08T22:00:32Z) - FinTrust: A Comprehensive Benchmark of Trustworthiness Evaluation in Finance Domain [54.06289302468199]
FinTrust は金融アプリケーションにおける LLM の信頼性を評価するためのベンチマークである。
o4-miniのようなプロプライエタリなモデルは、安全性など、ほとんどのタスクでパフォーマンスに優れています。
DeepSeek-V3のようなオープンソースモデルは、業界レベルの公正さのような特定の分野に利点がある。
論文 参考訳（メタデータ） (2025-10-17T01:45:49Z) - Uncovering the Vulnerability of Large Language Models in the Financial Domain via Risk Concealment [29.36824550283463]
大規模言語モデル(LLM)は、金融アプリケーションにますます統合されているが、既存のリピート研究は主に有害なコンテンツをターゲットにしている。
リスク・コンセロメント・アタック(RCA: Risk-Concealment Attacks)は、規制のリスクを反復的に隠蔽し、コンプライアンスに適合しているように見えるが規制に違反する応答を誘発する新しいマルチターン・フレームワークである。
FIN-Benchの実験では、RCAは9つの主要なLCMを効果的にバイパスし、平均攻撃成功率(ASR)は93.18%、GPT-4.1は98.28%、OpenAI o1は97.56%に達した。
論文 参考訳（メタデータ） (2025-09-07T22:35:15Z) - Standard Benchmarks Fail - Auditing LLM Agents in Finance Must Prioritize Risk [31.43947127076459]
標準ベンチマークでは、大規模言語モデル(LLM)エージェントが金融面でどれだけうまく機能するかを定めているが、デプロイの安全性についてはほとんど語っていない。
我々は、精度の指標とリターンベースのスコアが、幻覚的な事実、古いデータ、敵の迅速な操作などの脆弱性を見渡すことで、信頼性の錯覚をもたらすと論じている。
論文 参考訳（メタデータ） (2025-02-21T12:56:15Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。