論文の概要: Delivering Document Conversion as a Cloud Service with High Throughput and Responsiveness

• arxiv url: http://arxiv.org/abs/2206.00785v1
• Date: Wed, 1 Jun 2022 22:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 15:29:20.052157
• Title: Delivering Document Conversion as a Cloud Service with High Throughput and Responsiveness
• Title（参考訳）: 高スループットと応答性を備えたクラウドサービスとしてのドキュメント変換の提供
• Authors: Christoph Auer (1), Michele Dolfi (1), Andr\'e Carvalho (2), Cesar Berrospi Ramis (1), Peter W. J. Staar (1) ((1) IBM Research, (2) SoftINSA Lda.)
• Abstract要約: 文書変換サービスの要件、設計、実装の選択について概説し、直面した課題を振り返る。 提案手法は,192ノードにわたる3072CPUコア上で,1時間あたり100万以上のPDFページの持続スループットを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document understanding is a key business process in the data-driven economy since documents are central to knowledge discovery and business insights. Converting documents into a machine-processable format is a particular challenge here due to their huge variability in formats and complex structure. Accordingly, many algorithms and machine-learning methods emerged to solve particular tasks such as Optical Character Recognition (OCR), layout analysis, table-structure recovery, figure understanding, etc. We observe the adoption of such methods in document understanding solutions offered by all major cloud providers. Yet, publications outlining how such services are designed and optimized to scale in the cloud are scarce. In this paper, we focus on the case of document conversion to illustrate the particular challenges of scaling a complex data processing pipeline with a strong reliance on machine-learning methods on cloud infrastructure. Our key objective is to achieve high scalability and responsiveness for different workload profiles in a well-defined resource budget. We outline the requirements, design, and implementation choices of our document conversion service and reflect on the challenges we faced. Evidence for the scaling behavior and resource efficiency is provided for two alternative workload distribution strategies and deployment configurations. Our best-performing method achieves sustained throughput of over one million PDF pages per hour on 3072 CPU cores across 192 nodes.
• Abstract（参考訳）: ドキュメントは知識の発見とビジネス洞察の中心であるため、ドキュメント理解はデータ駆動経済における重要なビジネスプロセスである。 ドキュメントを機械処理可能なフォーマットに変換することは、フォーマットや複雑な構造における大きなバリエーションのため、特に難しい。 そのため、光学文字認識(OCR)、レイアウト解析、テーブル構造回復、図形理解など、特定の課題を解決するために多くのアルゴリズムや機械学習手法が登場した。 主要なクラウドプロバイダすべてが提供する文書理解ソリューションにおいて,このような手法が採用されていることを観察する。 しかし、そのようなサービスがどのように設計され、クラウドでスケールするように最適化されているかについての出版物は少ない。 本稿では,クラウドインフラストラクチャ上での機械学習手法に強く依存して,複雑なデータ処理パイプラインをスケールする上で,特に課題となるドキュメント変換の事例に焦点を当てる。 私たちの主な目的は、明確に定義されたリソース予算で、異なるワークロードプロファイルに対して高いスケーラビリティと応答性を達成することです。 文書変換サービスの要件、設計、実装の選択について概説し、直面した課題を振り返る。 スケーリングの振る舞いとリソース効率の証拠は、2つの代替のワークロード分散戦略とデプロイメント構成のために提供される。 提案手法は,192ノードにわたる3072CPUコア上で,1時間あたり100万以上のPDFページの持続スループットを実現する。

関連論文リスト

• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [52.02764371205856]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• Thread: A Logic-Based Data Organization Paradigm for How-To Question Answering with Retrieval Augmented Generation [49.36436704082436]
  ハウツー質問は意思決定プロセスに不可欠なものであり、動的でステップバイステップの回答を必要とする。 我々は,現在のシステムがハウツー質問をより効果的に扱えるようにするための新しいデータ組織パラダイムThreadを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:41Z)
• On Task-personalized Multimodal Few-shot Learning for Visually-rich Document Entity Retrieval [59.25292920967197]
  VDER(Few-shot document entity search)は、NLPアプリケーションにおいて重要なトピックである。 FewVEXは、エンティティレベルの少数ショットVDERの分野における将来の研究を促進するための、新しいデータセットである。 本稿では,タスクパーソナライズを効果的に実現することを中心に,タスク認識型メタラーニングベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-01T17:51:43Z)
• Data Efficient Training of a U-Net Based Architecture for Structured Documents Localization [0.0]
  構造化文書のローカライズのためのエンコーダデコーダアーキテクチャのような新しいU-NetであるSDL-Netを提案する。 本手法では,SDL-Netのエンコーダを,各種文書クラスのサンプルを含む汎用データセット上で事前学習することができる。
  論文  参考訳（メタデータ） (2023-10-02T07:05:19Z)
• Data-Efficient Information Extraction from Form-Like Documents [14.567098292973075]
  鍵となる課題は、フォームライクなドキュメントが、事実上無限に多くの方法でレイアウトできることです。 データ効率は、数百の異なるドキュメントタイプを扱うために、情報抽出システムがスケールできるようにするために重要である。
  論文  参考訳（メタデータ） (2022-01-07T19:16:49Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Donut: Document Understanding Transformer without OCR [17.397447819420695]
  我々は,OCRフレームワークを基盤にすることなく,エンドツーエンドのトレーニングが可能な新しいVDUモデルを提案する。 提案手法は,公開ベンチマークデータセットとプライベート産業サービスデータセットの各種文書理解タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-30T18:55:19Z)
• One-shot Key Information Extraction from Document with Deep Partial Graph Matching [60.48651298832829]
  ドキュメントからキー情報抽出(KIE)は、多くの産業シナリオにおいて効率、生産性、セキュリティを改善する。 KIEタスクのための既存の教師付き学習手法は、多数のラベル付きサンプルを供給し、異なる種類の文書の別々のモデルを学ぶ必要がある。 部分グラフマッチングを用いたワンショットKIEのためのディープエンド・ツー・エンド・トレーニング可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T07:45:53Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。