論文の概要: Efficacy of AI RAG Tools for Complex Information Extraction and Data Annotation Tasks: A Case Study Using Banks Public Disclosures

• arxiv url: http://arxiv.org/abs/2507.21360v1
• Date: Mon, 28 Jul 2025 22:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.360076
• Title: Efficacy of AI RAG Tools for Complex Information Extraction and Data Annotation Tasks: A Case Study Using Banks Public Disclosures
• Title（参考訳）: 複雑な情報抽出・データアノテーションタスクのためのAI RAGツールの有効性:銀行公開情報を用いた事例研究
• Authors: Nicholas Botti, Flora Haberkorn, Charlotte Hoopes, Shaun Khan,
• Abstract要約: 我々は、何千ページもの公開公開文書の複雑なマルチパート基準で、既存の、挑戦的な実世界のアノテーションタスクを再現する。 完全なタスクに外挿すると、人間のみのアプローチに比べて最大268時間節約できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We utilize a within-subjects design with randomized task assignments to understand the effectiveness of using an AI retrieval augmented generation (RAG) tool to assist analysts with an information extraction and data annotation task. We replicate an existing, challenging real-world annotation task with complex multi-part criteria on a set of thousands of pages of public disclosure documents from global systemically important banks (GSIBs) with heterogeneous and incomplete information content. We test two treatment conditions. First, a "naive" AI use condition in which annotators use only the tool and must accept the first answer they are given. And second, an "interactive" AI treatment condition where annotators use the tool interactively, and use their judgement to follow-up with additional information if necessary. Compared to the human-only baseline, the use of the AI tool accelerated task execution by up to a factor of 10 and enhanced task accuracy, particularly in the interactive condition. We find that when extrapolated to the full task, these methods could save up to 268 hours compared to the human-only approach. Additionally, our findings suggest that annotator skill, not just with the subject matter domain, but also with AI tools, is a factor in both the accuracy and speed of task performance.
• Abstract（参考訳）: 我々は,AI検索拡張生成(RAG)ツールを用いて,情報抽出とデータアノテーションタスクでアナリストを支援するために,ランダムなタスク割り当てを持つオブジェクト内設計を利用する。 我々は,グローバルなシステム上重要な銀行(GSIB)の公開開示文書の集合に,異質で不完全な情報内容を含む複雑なマルチパートの基準で,既存の実世界のアノテーションタスクを再現する。 我々は2つの治療条件をテストする。 まず、アノテータがツールのみを使用して、与えられた最初の回答を受け入れなければならない、"秘密の"AI使用条件。 第2に、アノテータがツールをインタラクティブに使用し、その判断を使って必要に応じて追加情報をフォローアップする"インタラクティブな"AI処理条件です。 人間のみのベースラインと比較して、AIツールの使用はタスクの実行を最大10倍に加速し、特に対話的な状況においてタスクの精度が向上した。 完全なタスクに外挿すると、人間のみのアプローチに比べて最大268時間節約できることがわかった。 さらに,対象物ドメインだけでなく,AIツールもアノテータスキルが,タスクパフォーマンスの正確さとスピードの両面で重要な要因であることが示唆された。

関連論文リスト

• Multi-Agent Actor-Critic Generative AI for Query Resolution and Analysis [1.0124625066746598]
  本稿では,アクタ批判モデルに基づく問合せ解決のための変換フレームワークであるMASQRADを紹介する。 MASQRADは不正確または曖昧なユーザからの問い合わせを正確で行動可能な要求に翻訳するのに優れている。 MASQRAD は高度なマルチエージェントシステムとして機能するが、単一のAIエンティティとしてユーザに対して "masquerad" を提供する。
  論文  参考訳（メタデータ） (2025-02-17T04:03:15Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Capturing and Anticipating User Intents in Data Analytics via Knowledge Graphs [0.061446808540639365]
  この研究は、人間中心の複雑な分析を捉えるための基本的なフレームワークとして、知識グラフ(KG)の使用について検討する。 生成されたKGに格納されたデータは、これらのシステムと対話するユーザーに補助(例えばレコメンデーション)を提供するために利用される。
  論文  参考訳（メタデータ） (2024-11-01T20:45:23Z)
• Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
  Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。 我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。 評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-03T22:49:27Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
  本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。 開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。 改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
  論文  参考訳（メタデータ） (2024-06-13T23:08:06Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• A curated, ontology-based, large-scale knowledge graph of artificial intelligence tasks and benchmarks [4.04540578484476]
  インテリジェンスタスクオントロジーと知識グラフ(ITO)は、人工知能タスク、ベンチマーク結果、パフォーマンスメトリクスに関する包括的なリソースである。 ITOは、人工知能タスク、ベンチマーク結果、パフォーマンスメトリクスに関する、豊富な構造化と手作業によるリソースである。 ITOの目標は、AIタスクと能力のグローバルな状況に関する、正確でネットワークベースの分析を可能にすることだ。
  論文  参考訳（メタデータ） (2021-10-04T13:25:53Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
  本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。 我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。 利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-28T05:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。