論文の概要: Efficacy of AI RAG Tools for Complex Information Extraction and Data Annotation Tasks: A Case Study Using Banks Public Disclosures

• arxiv url: http://arxiv.org/abs/2507.21360v1
• Date: Mon, 28 Jul 2025 22:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.360076
• Title: Efficacy of AI RAG Tools for Complex Information Extraction and Data Annotation Tasks: A Case Study Using Banks Public Disclosures
• Title（参考訳）: 複雑な情報抽出・データアノテーションタスクのためのAI RAGツールの有効性:銀行公開情報を用いた事例研究
• Authors: Nicholas Botti, Flora Haberkorn, Charlotte Hoopes, Shaun Khan,
• Abstract要約: 我々は、何千ページもの公開公開文書の複雑なマルチパート基準で、既存の、挑戦的な実世界のアノテーションタスクを再現する。 完全なタスクに外挿すると、人間のみのアプローチに比べて最大268時間節約できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We utilize a within-subjects design with randomized task assignments to understand the effectiveness of using an AI retrieval augmented generation (RAG) tool to assist analysts with an information extraction and data annotation task. We replicate an existing, challenging real-world annotation task with complex multi-part criteria on a set of thousands of pages of public disclosure documents from global systemically important banks (GSIBs) with heterogeneous and incomplete information content. We test two treatment conditions. First, a "naive" AI use condition in which annotators use only the tool and must accept the first answer they are given. And second, an "interactive" AI treatment condition where annotators use the tool interactively, and use their judgement to follow-up with additional information if necessary. Compared to the human-only baseline, the use of the AI tool accelerated task execution by up to a factor of 10 and enhanced task accuracy, particularly in the interactive condition. We find that when extrapolated to the full task, these methods could save up to 268 hours compared to the human-only approach. Additionally, our findings suggest that annotator skill, not just with the subject matter domain, but also with AI tools, is a factor in both the accuracy and speed of task performance.
• Abstract（参考訳）: 我々は,AI検索拡張生成(RAG)ツールを用いて,情報抽出とデータアノテーションタスクでアナリストを支援するために,ランダムなタスク割り当てを持つオブジェクト内設計を利用する。 我々は,グローバルなシステム上重要な銀行(GSIB)の公開開示文書の集合に,異質で不完全な情報内容を含む複雑なマルチパートの基準で,既存の実世界のアノテーションタスクを再現する。 我々は2つの治療条件をテストする。 まず、アノテータがツールのみを使用して、与えられた最初の回答を受け入れなければならない、"秘密の"AI使用条件。 第2に、アノテータがツールをインタラクティブに使用し、その判断を使って必要に応じて追加情報をフォローアップする"インタラクティブな"AI処理条件です。 人間のみのベースラインと比較して、AIツールの使用はタスクの実行を最大10倍に加速し、特に対話的な状況においてタスクの精度が向上した。 完全なタスクに外挿すると、人間のみのアプローチに比べて最大268時間節約できることがわかった。 さらに,対象物ドメインだけでなく,AIツールもアノテータスキルが,タスクパフォーマンスの正確さとスピードの両面で重要な要因であることが示唆された。

関連論文リスト

• AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
  持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。 エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。 本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
  論文  参考訳（メタデータ） (2026-01-28T13:49:18Z)
• Introducing Axlerod: An LLM-based Chatbot for Assisting Independent Insurance Agents [0.20999222360659608]
  保険業界は人工知能(AI)技術の導入を通じてパラダイムシフトを行っている。 本稿では,独立保険業者の業務効率向上を目的としたAIを活用した対話インタフェースであるAxlerodの設計,実装,実証評価について述べる。
  論文  参考訳（メタデータ） (2025-12-24T15:31:59Z)
• What's the next frontier for Data-centric AI? Data Savvy Agents [71.76058707995398]
  我々は、エージェントシステムの設計において、データに精通する能力が最優先すべきであると主張している。 本稿では,このビジョンを実現するための4つの重要な機能を提案する。プロアクティブデータ取得,ソフシフィケートデータ処理,インタラクティブテストデータ合成,連続的適応。
  論文  参考訳（メタデータ） (2025-11-02T17:09:29Z)
• InfoAgent: Advancing Autonomous Information-Seeking Agents [143.15973604285304]
  本稿では,革新的なデータ合成パイプラインとWeb検索ツールを駆使したディープリサーチエージェントInfoAgentを紹介する。 我々の方法では、InfoAgentはBrowseCompで15.3%、BrowseComp-ZHで29.2%、Xbench-DSで40.4%の精度を達成した。
  論文  参考訳（メタデータ） (2025-09-29T17:59:57Z)
• Planning Agents on an Ego-Trip: Leveraging Hybrid Ego-Graph Ensembles for Improved Tool Retrieval in Enterprise Task Planning [0.0]
  本稿では,ツール間のセマンティックな関係と機能的依存関係をキャプチャする,知識グラフに基づくツール検索フレームワークを提案する。 検索アルゴリズムは1-hop egoツールグラフのアンサンブルを利用して,ツール間の直接的および間接的な接続をモデル化する。 その結果,ツールグラフに基づく手法は,マイクロアベレージ・コンプリート・リコール・メトリックにおいて91.85%のツールカバレッジを実現していることがわかった。
  論文  参考訳（メタデータ） (2025-08-07T22:41:12Z)
• Multi-Agent Actor-Critic Generative AI for Query Resolution and Analysis [1.0124625066746598]
  本稿では,アクタ批判モデルに基づく問合せ解決のための変換フレームワークであるMASQRADを紹介する。 MASQRADは不正確または曖昧なユーザからの問い合わせを正確で行動可能な要求に翻訳するのに優れている。 MASQRAD は高度なマルチエージェントシステムとして機能するが、単一のAIエンティティとしてユーザに対して "masquerad" を提供する。
  論文  参考訳（メタデータ） (2025-02-17T04:03:15Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Capturing and Anticipating User Intents in Data Analytics via Knowledge Graphs [0.061446808540639365]
  この研究は、人間中心の複雑な分析を捉えるための基本的なフレームワークとして、知識グラフ(KG)の使用について検討する。 生成されたKGに格納されたデータは、これらのシステムと対話するユーザーに補助(例えばレコメンデーション)を提供するために利用される。
  論文  参考訳（メタデータ） (2024-11-01T20:45:23Z)
• Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
  Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。 我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。 評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-03T22:49:27Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
  本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。 開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。 改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
  論文  参考訳（メタデータ） (2024-06-13T23:08:06Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• A curated, ontology-based, large-scale knowledge graph of artificial intelligence tasks and benchmarks [4.04540578484476]
  インテリジェンスタスクオントロジーと知識グラフ(ITO)は、人工知能タスク、ベンチマーク結果、パフォーマンスメトリクスに関する包括的なリソースである。 ITOは、人工知能タスク、ベンチマーク結果、パフォーマンスメトリクスに関する、豊富な構造化と手作業によるリソースである。 ITOの目標は、AIタスクと能力のグローバルな状況に関する、正確でネットワークベースの分析を可能にすることだ。
  論文  参考訳（メタデータ） (2021-10-04T13:25:53Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning [82.46332224556257]
  本稿では,知識グラフ補完タスクにおけるユーザインタラクションデータを活用することで,新たな逆学習手法を提案する。 我々のジェネレータはユーザインタラクションデータから分離されており、識別器の性能を向上させるのに役立ちます。 利用者の暗黙の実体的嗜好を発見するために,グラフニューラルネットワークに基づく精巧な協調学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-03-28T05:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。