論文の概要: IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking
- arxiv url: http://arxiv.org/abs/2609.29167v1
- Date: Thu, 24 Sep 2026 07:40:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.77563
- Title: IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking
- Title（参考訳）: IndicBankBench:インド小売銀行における言語モデルアシスタントの安全性と信頼性の評価
- Abstract要約: IndicBankBenchは、インドの小売銀行の799ケースのベンチマークである。
ケースは、安全性、アクションとツールの使用、応答の妥当性、アドバイス品質の4段階で評価される。
- 参考スコア（独自算出の注目度）: 0.8185948093721435
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Banking assistants must use account-specific information to answer requests and, in many cases, take actions through tools. Evaluating only the final response misses important errors. An assistant may ask for information it already has, rely on stale context, select the wrong account, or write an invalid value after stating the correct one. We introduce IndicBankBench, a 799-case benchmark for Indian retail banking spanning five operational domains, a capability/refusal domain, and twenty primary axes. Cases are evaluated at four stages: safety, action and tool use, response adequacy, and advisory quality. Tool use and most safety checks are deterministic. A narrow resolver handles only ambiguous confirmation-before-write cases, while a separate LLM judge evaluates semantic response adequacy. We run every case three times and report strict pass^3, which requires success on all trials. Across the eleven evaluated models, strict reliability ranges from 43.7% to 58.2%, whereas at-least-once success ranges from 60% to 74%. This gap shows that at-least-once success can overstate dependable banking behavior. The case-level diagnostics also distinguish systems that ask unnecessary questions from those that act but fail to reconcile customer context or fully resolve the request. We release the cases, mock environment, and evaluation harness.
- Abstract（参考訳）: 銀行のアシスタントは、要求に答えるためにアカウント固有の情報を使用し、多くの場合、ツールを通じてアクションを取らなければならない。
最終応答のみを評価することは、重大なエラーを見逃す。
アシスタントは、既に持っている情報を要求したり、古いコンテキストに依存したり、間違ったアカウントを選択したり、正しいことを述べた後に無効な値を書いたりすることができる。
IndicBankBenchは、インドの小売銀行の799ケースのベンチマークで、5つのオペレーションドメイン、機能/拒否ドメイン、20のプライマリ軸にまたがる。
ケースは、安全性、アクションとツールの使用、応答の妥当性、アドバイス品質の4段階で評価される。
ツールの使用とほとんどの安全性チェックは決定論的です。
狭義のリゾルバは不明瞭な確認前書きのケースのみを処理し、別個のLCM判定器は意味応答の精度を評価する。
すべてのケースを3回実行し、厳格なpass^3を報告します。
評価された11モデル中、厳格な信頼性は43.7%から58.2%まで、最低でも60%から74%までである。
このギャップは、ラスト・オンスの成功が、信頼できる銀行の振舞いを誇張できることを示している。
ケースレベルの診断では、不必要な質問をするシステムと、顧客コンテキストの調整や要求の完全な解決に失敗したシステムとを区別する。
ケース、モック環境、評価ハーネスをリリースします。
関連論文リスト
- FiMI Banking: A Sovereign Model for Indian Retail Banking [1.7857375930749748]
制御されたインドの小売銀行環境であるFiMIバンキングを紹介する。
私たちは、審査済みの銀行文書、構造化された真実、顧客背景の合成、銀行ツールから構築します。
反応レベルの行動に対する好みの最適化と、多ターンツール使用タスクに対する検証可能な報酬による強化学習の2つのポストトレーニング手法を評価した。
論文 参考訳（メタデータ） (2026-09-03T14:56:59Z) - Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology [10.411056951115214]
分析エージェントのエンドツーエンド評価手法を提案する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
論文 参考訳（メタデータ） (2026-08-28T20:57:45Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳（メタデータ） (2026-08-10T08:14:24Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。