論文の概要: TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
- arxiv url: http://arxiv.org/abs/2610.30161v1
- Date: Wed, 30 Sep 2026 15:16:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 00:37:12.157724
- Title: TauIndianBankBench: Procedure-Aware, Action-Oriented Evaluation of Tool-Using Conversational Agents
- Title（参考訳）: TauIndianBankBench:ツールを用いた会話エージェントの手順意識,行動指向評価
- Abstract要約: 私たちはTauIndianBankBenchを紹介します。
アシスタントがすべての必要なステップを踏んで、要求外の変更を行わないことを確認します。
すべてのモデルにおいて、最終記録のみをチェックすると6.5-12.0%のセッションが成功すると判断される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Many Indian banks serve customers through FAQ pages and scripted chatbots. Assistants based on language models could respond faster and carry out requests such as blocking a card, but only if they give correct information and follow the bank's rules. These rules prescribe a procedure, a set of required steps, such as obtaining a closure quote before closing a deposit. Adapting models to this domain requires measuring how well they follow the procedure, before and after training. Benchmarks usually judge only the records left at the end of a conversation. Many required steps, however, leave the records unchanged, so an assistant that skips them can still be judged successful. We present TauIndianBankBench, an action-oriented benchmark of 1,000 Indian retail-banking tasks where an assistant helps a simulated customer. Besides the final records, it checks that the assistant took every required step and made no unrequested change. For every model, 6.5-12.0% of sessions are judged successful when only the final records are checked, although the assistant skipped a required step or made an unrequested change. Scoring both procedure and outcome shows more accurately how well language models perform in Indian retail banking.
- Abstract（参考訳）: 多くのインドの銀行はFAQページとスクリプトチャットボットを通じて顧客にサービスを提供している。
言語モデルに基づくアシスタントは、より高速に応答し、カードをブロックするなどの要求を実行することができるが、正しい情報を与え、銀行のルールに従う場合に限られる。
これらのルールは、預金を閉じる前にクロージャの引用を取得するなど、一連の必要な手順である手続きを規定する。
この領域にモデルを適用するには、トレーニング前後の手順がどれだけうまくいったかを測定する必要がある。
ベンチマークは通常、会話の最後に残ったレコードのみを判断する。
しかし、多くの必要なステップはレコードをそのままにしておくので、それらをスキップするアシスタントは依然として成功と判断できる。
TauIndianBankBenchは、インドの小売銀行業務1000のアクション指向ベンチマークで、アシスタントが顧客をシミュレートする。
最終記録の他に、アシスタントがすべての必要なステップを踏み出し、要求外の変更を行わないことを確認する。
すべてのモデルにおいて、最終記録のみをチェックすると6.5-12.0%のセッションが成功と判断されるが、アシスタントは必要なステップをスキップしたり、要求外の変更を行う。
手続きと結果の両方を検査すると、インドの小売銀行で言語モデルがいかにうまく機能するかがより正確にわかる。
関連論文リスト
- Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - Closing Ambient Clinical Documentation Gaps with Automated Provider Queries [3.20058525920272]
LLMがDAU(Draft, Ask, Update)と呼ばれるクエリループを自動化できるかを検討する。
3,000の実際の訪問の監査は、欠落したドキュメントのソースを特定する。
論文 参考訳（メタデータ） (2026-10-05T23:07:16Z) - Following the Flow the Law Requires: Training Voice Agents to Transfer to Unseen Regulated Procedures in Debt Collection [0.0]
自己ホスト型ポリシーは一度トレーニングされ、これまで見たことのない規制された手順に従うことができる。
デプロイ毎に1つのマシン可読仕様がポリシー命令を生成し、ツールをゲートし、監督を提供し、テストを定義する。
共有仕様の監査では11の欠陥が見つかった。
論文 参考訳（メタデータ） (2026-10-01T03:08:52Z) - AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop? [62.41600992806851]
エージェントがそのようなタスクを書く能力の現在の評価は、エージェントが生成したもののトレーニング後にモデルがどのように機能するかを測定する。
既存の評価では、個々のタスクがデータパイプラインの受け入れ基準を満たすかどうかを問わない。
AutoDataBenchは、自律データ合成のためのエージェントの能力を直接測定する。
論文 参考訳（メタデータ） (2026-09-28T12:24:21Z) - IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking [0.8185948093721435]
IndicBankBenchは、インドの小売銀行の799ケースのベンチマークである。
ケースは、安全性、アクションとツールの使用、応答の妥当性、アドバイス品質の4段階で評価される。
論文 参考訳（メタデータ） (2026-09-24T07:40:09Z) - FiMI Banking: A Sovereign Model for Indian Retail Banking [1.7857375930749748]
制御されたインドの小売銀行環境であるFiMIバンキングを紹介する。
私たちは、審査済みの銀行文書、構造化された真実、顧客背景の合成、銀行ツールから構築します。
反応レベルの行動に対する好みの最適化と、多ターンツール使用タスクに対する検証可能な報酬による強化学習の2つのポストトレーニング手法を評価した。
論文 参考訳（メタデータ） (2026-09-03T14:56:59Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding [64.45047674586671]
本稿では,意図木の概念を導入し,データセットキュレーションパイプラインを提案する。
我々は,L(V)LMsのセッション間意図シフト理解能力を評価するマルチモーダルベンチマークSessionIntentBenchを構築した。
1,952,177の意図的エントリ,1,132,145のセッション意図軌跡,および10,905のセッションを使用してマイニングされた13,003,664のタスクにより,既存のセッションデータを活用可能なスケーラブルな方法を提供する。
論文 参考訳（メタデータ） (2025-07-27T09:04:17Z) - Enhancing Customer Service Chatbots with Context-Aware NLU through Selective Attention and Multi-task Learning [0.0]
顧客意図を予測するためのコンテキスト認識型NLUモデルを提案する。
新規な選択的アテンションモジュールは、関連するコンテキスト特徴を抽出するために使用される。
当社では、Walmartのカスタマケアドメインの本番環境にモデルをデプロイしています。
論文 参考訳（メタデータ） (2025-06-02T15:24:28Z) - Exploring Rewriting Approaches for Different Conversational Tasks [63.56404271441824]
正確な書き換えアプローチは、しばしば、会話アシスタントによってサポートされているユースケースとアプリケーション固有のタスクに依存します。
基本的に異なる2つの生成タスクに対して,書き換えと融合という2つの異なるアプローチを体系的に検討した。
以上の結果から, 特定の書き換え手法や融合手法は, 基礎となるユースケースや生成課題に大きく依存していることが示唆された。
論文 参考訳（メタデータ） (2025-02-26T06:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。