論文の概要: AdaParse: An Adaptive Parallel PDF Parsing and Resource Scaling Engine

• arxiv url: http://arxiv.org/abs/2505.01435v1
• Date: Wed, 23 Apr 2025 18:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-11 11:26:45.181768
• Title: AdaParse: An Adaptive Parallel PDF Parsing and Resource Scaling Engine
• Title（参考訳）: AdaParse: 適応型並列PDF解析とリソーススケーリングエンジン
• Authors: Carlo Siebenschuh, Kyle Hippe, Ozan Gokdemir, Alexander Brace, Arham Khan, Khalid Hossain, Yadu Babuji, Nicholas Chia, Venkatram Vishwanath, Rick Stevens, Arvind Ramanathan, Ian Foster, Robert Underwood,
• Abstract要約: AdaParse (Adaptive Parallel PDF Parsing and Resource Scaling Engine) を導入する。 AdaParseは、各ドキュメントに適切なパースされたドキュメントを割り当てるデータ駆動戦略である。 AdaParseは、最先端の構文解析と比較すると、1000の科学文書のベンチマークセットで同等の精度(0.2%)を保ちながら、スループットを17$times改善する。
• 参考スコア（独自算出の注目度）: 33.22885510488797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models for scientific tasks are trained on text from scientific publications, most distributed as PDFs that require parsing. PDF parsing approaches range from inexpensive heuristics (for simple documents) to computationally intensive ML-driven systems (for complex or degraded ones). The choice of the "best" parser for a particular document depends on its computational cost and the accuracy of its output. To address these issues, we introduce an Adaptive Parallel PDF Parsing and Resource Scaling Engine (AdaParse), a data-driven strategy for assigning an appropriate parser to each document. We enlist scientists to select preferred parser outputs and incorporate this information through direct preference optimization (DPO) into AdaParse, thereby aligning its selection process with human judgment. AdaParse then incorporates hardware requirements and predicted accuracy of each parser to orchestrate computational resources efficiently for large-scale parsing campaigns. We demonstrate that AdaParse, when compared to state-of-the-art parsers, improves throughput by $17\times$ while still achieving comparable accuracy (0.2 percent better) on a benchmark set of 1000 scientific documents. AdaParse's combination of high accuracy and parallel scalability makes it feasible to parse large-scale scientific document corpora to support the development of high-quality, trillion-token-scale text datasets. The implementation is available at https://github.com/7shoe/AdaParse/
• Abstract（参考訳）: 科学的なタスクのための言語モデルは、科学的な出版物からテキストで訓練され、ほとんどは解析を必要とするPDFとして配布されている。 PDF解析のアプローチは、安価なヒューリスティック(単純な文書の場合)から計算集約的なML駆動システム(複雑または劣化したものの場合)まで様々である。 特定の文書に対する「最良の」パーサーの選択は、その計算コストと出力の精度に依存する。 これらの問題に対処するため、各ドキュメントに適切なパーサを割り当てるデータ駆動型戦略であるAdaptive Parallel PDF Parsing and Resource Scaling Engine (AdaParse)を紹介した。 我々は、科学者に好みのパーサ出力を選択し、この情報をAdaParseに直接選好最適化(DPO)を通じて組み込むことで、選択プロセスと人間の判断を一致させる。 次にAdaParseは、ハードウェア要件と各パーサの予測精度を組み込んで、大規模パーサキャンペーンの計算リソースを効率的にオーケストレーションする。 私たちは、AdaParseが最先端のパーサーと比較すると、1000の科学文書のベンチマークセットで同等の精度(0.2%)を保ちながら、スループットを17\times$で改善することを示した。 AdaParseの高精度と並列スケーラビリティの組み合わせにより、高品質な1兆件規模のテキストデータセットの開発を支援するために、大規模な科学文書コーパスを解析することが可能になった。 実装はhttps://github.com/7shoe/AdaParse/で公開されている。

関連論文リスト

• AceParse: A Comprehensive Dataset with Diverse Structured Texts for Academic Literature Parsing [82.33075210051129]
  AceParseは構造化テキストのパースをサポートするために設計された最初の包括的なデータセットである。 AceParseに基づいて、さまざまな構造化テキストを正確に解析するマルチモーダルモデルAceを微調整した。 このモデルは、F1スコアで4.1%、ジャカルド類似度で5%、以前の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-16T06:06:34Z)
• Automatic Prediction of the Performance of Every Parser [0.0]
  機械翻訳性能予測システム(MTPPS)を用いた新しい性能予測(PPP)モデルを提案する。 この新しいシステムであるMTPPS-PPPは、任意の言語の性能を予測することができ、テキストを理解する際の文法的難易度を推定するのに有用である。
  論文  参考訳（メタデータ） (2024-07-06T15:49:24Z)
• Deepparse : An Extendable, and Fine-Tunable State-Of-The-Art Library for Parsing Multinational Street Addresses [0.0]
  本稿では、LGPL-3.0ライセンス下でPythonのオープンソースで拡張可能で、微調整可能なアドレス解析ソリューションであるDeepparseについて述べる。 任意の言語で書かれたアドレスを解析し、任意のアドレス標準を使用することができる。 ライブラリは、カスタムアドレスを生成するために、新しいデータによる微調整をサポートする。
  論文  参考訳（メタデータ） (2023-11-20T15:37:33Z)
• Evaluating the Impact of Source Code Parsers on ML4SE Models [3.699097874146491]
  名前予測言語でSupernorm2SeqとTreeLSTMの2つのモデルを評価する。 異なる木によって構築された木は、その構造や内容によって異なることを示す。 そして、この多様性がモデルの品質にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2022-06-17T12:10:04Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Strongly Incremental Constituency Parsing with Graph Neural Networks [70.16880251349093]
  文を構文木にパースすることは、NLPの下流アプリケーションに恩恵をもたらす。 トランジッションベースは、状態遷移システムでアクションを実行することでツリーを構築する。 既存のトランジションベースは主にシフト・リデュース・トランジション・システムに基づいている。
  論文  参考訳（メタデータ） (2020-10-27T19:19:38Z)
• A Practical Chinese Dependency Parser Based on A Large-scale Dataset [21.359679124869402]
  依存性解析は長年にわたる自然言語処理タスクであり、アウトプットはさまざまな下流タスクに不可欠である。 近年、ニューラルネットワークベースの(NNベースの)依存性は大きな進歩を遂げ、最先端の結果を得た。 NNベースのアプローチには大量のラベル付きトレーニングデータが必要です。
  論文  参考訳（メタデータ） (2020-09-02T08:41:46Z)
• Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers [59.345145623931636]
  我々は、インスタンスレベルの選択(ILPS)という、新しい言語間移動パラダイムを論じる。 本稿では,デレキシライズドトランスファーの枠組みにおけるインスタンスレベルの選択に着目した概念実証研究を提案する。
  論文  参考訳（メタデータ） (2020-04-16T13:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。