論文の概要: Smart Content Ingestion for Generative AI Workloads

• arxiv url: http://arxiv.org/abs/2610.07091v1
• Date: Mon, 05 Oct 2026 13:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.548138
• Title: Smart Content Ingestion for Generative AI Workloads
• Title（参考訳）: AIワークロード生成のためのスマートコンテンツ取り込み
• Abstract要約: 生成AIは、モデルを任意の単一タスクから切り離す。 言語モデルは、このインターフェースで誤って表現された情報を確実に判断することはできない。 本稿では,生産可能なコンテンツ抽出システムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evolution of machine learning has progressively changed where intelligence resides in an AI system. In conventional machine learning the task, data representation, labels and model architecture were tightly coupled, so data preparation was narrow, schema-bound and visible. Generative AI decouples the model from any single task: one foundation model serves open-ended downstream tasks, and the generality gained on the model side is matched by heterogeneity on the data side, because enterprise knowledge is authored in the formats people use (PDF, presentations, spreadsheets, scanned documents, forms, tables, diagrams and mixed-layout files) that carry textual, visual, geometric and structural information at once. A language model or retriever cannot reason reliably over information misrepresented at this interface, so content extraction becomes a lifecycle stage in its own right whose errors no downstream retriever or re-ranker can repair. This paper presents a production-ready content-extraction system that makes this stage explicit, configurable, and measurable. The system incorporates selective OCR routing, a scarcity-first curation engine with a reference-based extraction scorer that measures character, word, and table-structure accuracy, a deterministic structure-aware parent-child chunker, and a read-only retrieval evaluator that generates grounded questions from every page and reports Hit@k, mean reciprocal rank, and latency. On a 180-document corpus the best extractor scores 97.4 of 100 (character error rate 0.13%, table similarity 0.995) and the chunker reaches hit@1 of 68.6%, hit@10 of 92.8% and MRR 0.77 over 25,050 generated questions. We distil three design principles (structure before semantics, never mutate what you measure, budget your labels) and position measured content extraction as the perception layer of enterprise agentic systems.
• Abstract（参考訳）: 機械学習の進化は、インテリジェンスがAIシステムに存在するように、徐々に変化してきた。 従来の機械学習では、タスク、データ表現、ラベル、モデルアーキテクチャは密結合であり、データ準備は狭く、スキーマバウンドで可視であった。 1つのファンデーションモデルは、オープンエンドの下流タスクを提供し、モデル側で得られた一般性は、人々が使用するフォーマット(PDF、プレゼンテーション、スプレッドシート、スキャンされたドキュメント、フォーム、テーブル、ダイアグラム、混合レイアウトファイル)で、一度にテキスト、ビジュアル、幾何学的、構造的情報を運ぶため、データ側の不均一性によって一致します。 言語モデルやレトリバーは、このインターフェースで誤って表現された情報に対して確実に判断できないため、コンテンツ抽出は、下流のレトリバーや再ランカが修理できない、それ自体がライフサイクルステージとなる。 本稿では,この段階を明示的で,構成可能で,測定可能な,プロダクション対応のコンテンツ抽出システムを提案する。 このシステムには、選択的なOCRルーティング、文字、単語、テーブル構造を計測する参照ベースの抽出スコアラを備えた希少性第一のキュレーションエンジン、決定論的構造を意識した親子チャンカー、各ページから根拠付き質問を生成してhit@k、平均相互ランク、遅延を報告する読み取り専用検索評価器が含まれる。 180文書コーパスでは、最高の抽出器スコアは100点中97.4点(文字エラー率0.13%、テーブル類似度0.995点)、チャンカーは68.6%、ヒット@10点92.8%、MRR 0.77点25,050点に到達した。 3つの設計原則(セマンティクス以前の構造、計測内容の変更なし、ラベルの予算)を排除し、計測されたコンテンツ抽出をエンタープライズエージェントシステムの認識層として位置づけます。

関連論文リスト

• Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models [7.176656402971074]
  最小限の監督で高精度な多型VIEのための分類誘導型大規模視覚言語モデル(LVLM)を提案する。 このフレームワークは、オフィス自動化における複雑なドキュメント理解のための効率的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2026-07-22T03:27:50Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
  本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。 提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。 その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-13T19:14:48Z)
• Automated Parsing of Engineering Drawings for Structured Information Extraction Using a Fine-tuned Document Understanding Transformer [0.352650106994433]
  本稿では,構造化情報抽出のためのハイブリッドディープラーニングフレームワークを提案する。 オブジェクト指向バウンディングボックス(OBB)モデルと変換器ベースの文書解析モデル(Donut)を統合する。 提案するフレームワークは、精度を改善し、手作業の労力を削減するとともに、精度駆動型産業におけるスケーラブルなデプロイメントをサポートする。
  論文  参考訳（メタデータ） (2025-05-02T18:33:21Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• AIFB-WebScience at SemEval-2022 Task 12: Relation Extraction First -- Using Relation Extraction to Identify Entities [0.0]
  本稿では,変換器に基づく言語モデルに基づくエンドツーエンドのジョイントエンティティと関係抽出手法を提案する。 実体抽出と関係抽出を連続的に行う既存手法とは対照的に,本システムは関係抽出からの情報を実体抽出に組み込む。
  論文  参考訳（メタデータ） (2022-03-10T12:19:44Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。