論文の概要: POINTS-Reader: Distillation-Free Adaptation of Vision-Language Models for Document Conversion

• arxiv url: http://arxiv.org/abs/2509.01215v1
• Date: Mon, 01 Sep 2025 07:54:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.587248
• Title: POINTS-Reader: Distillation-Free Adaptation of Vision-Language Models for Document Conversion
• Title（参考訳）: POINTS-Reader:文書変換のためのビジョン言語モデルの蒸留自由適応
• Authors: Yuan Liu, Zhongyin Zhao, Le Tian, Haicheng Wang, Xubing Ye, Yangxiu You, Zilin Yu, Chuhan Wu, Xiao Zhou, Yang Yu, Jie Zhou,
• Abstract要約: 高品質なラベル付きデータは、正確な文書変換モデルのトレーニングに不可欠である。 高品質な文書抽出データセットを構築するための2つの段階からなる完全自動化フレームワークを提案する。 我々は公開のPOINTS-1.5モデルをトレーニングしてPOINTS-Readerを得る。
• 参考スコア（独自算出の注目度）: 32.52489423671728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality labeled data is essential for training accurate document conversion models, particularly in domains with complex formats such as tables, formulas, and multi-column text. However, manual annotation is both costly and time-consuming, while automatic labeling using existing models often lacks accuracy in handling such challenging scenarios. Consequently, training student models by distilling outputs from teacher models can significantly limit their performance in real-world applications. In this paper, we propose a fully automated, distillation-free framework comprising two stages for constructing high-quality document extraction datasets and models capable of handling diverse document formats and layouts. In the first stage, we introduce a method for generating large-scale, diverse synthetic data, which enables a model to extract key elements in a unified format with strong initial performance. In the second stage, we present a self-improvement approach that further adapts the model, initially trained on synthetic data, to real-world documents. Specifically, we first use the fine-tuned model to annotate real documents, then apply a suite of filtering strategies to verify annotation quality, and finally retrain the model on the verified dataset. By iteratively repeating this process, we progressively enhance both the model's conversion capabilities and the quality of the generated data. We train a public POINTS-1.5 model to obtain POINTS-Reader, which surpasses many existing public and proprietary models of comparable or larger size. Our model is available at https://github.com/Tencent/POINTS-Reader.
• Abstract（参考訳）: 高品質なラベル付きデータは、特にテーブルや公式、マルチカラムテキストといった複雑な形式を持つ領域において、正確な文書変換モデルのトレーニングに不可欠である。 しかし、手動のアノテーションはコストも時間もかかるが、既存のモデルを使った自動ラベリングは、このような難解なシナリオを扱う精度に欠けることが多い。 その結果、教師モデルからの出力を蒸留することで、学生モデルを訓練することは、実世界の応用において、その性能を著しく制限することができる。 本稿では,高品質な文書抽出データセットを構築するための2段階と,多種多様な文書形式やレイアウトを扱うことのできるモデルからなる,完全自動蒸留不要のフレームワークを提案する。 最初の段階では,大規模で多様な合成データを生成する手法を導入し,モデルが初期性能の強い統一形式でキー要素を抽出することを可能にする。 第2段階では、合成データに基づいて訓練されたモデルをさらに現実の文書に適応させる自己改善手法を提案する。 具体的には、まず実際の文書に注釈を付けるために微調整されたモデルを使用し、次にアノテーションの品質を検証するために一連のフィルタリング戦略を適用し、最終的に検証されたデータセット上でモデルを再訓練する。 このプロセスを反復的に繰り返すことで、モデルの変換能力と生成されたデータの品質の両方を徐々に強化する。 我々は公開のPOINTS-1.5モデルをトレーニングしてPOINTS-Readerを得る。 私たちのモデルはhttps://github.com/Tencent/POINTS-Reader.comで利用可能です。

関連論文リスト

• Approximating Language Model Training Data from Weights [70.08614275061689]
  モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。 そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発した。 真のトレーニングデータがない場合でも、我々の方法では、公開Webドキュメントの小さなサブセットを見つけることができる。
  論文  参考訳（メタデータ） (2025-06-18T15:26:43Z)
• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• KaLM-Embedding: Superior Training Data Brings A Stronger Embedding Model [27.25688303240741]
  KaLM-Embeddingは、よりクリーンで、より多様な、ドメイン固有のトレーニングデータを活用する一般的な多言語埋め込みモデルである。 我々のモデルは、性能を向上させることが証明された重要な技術で訓練されている。
  論文  参考訳（メタデータ） (2025-01-02T03:17:51Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Efficient Training of Language Models to Fill in the Middle [17.118891860985123]
  自動回帰言語モデルは、データセットに直接的な変換を適用した後、テキストを埋めることを学ぶことができる。 FIMモデルのトレーニングには、デフォルト設定の強い設定とベストプラクティスを規定するために、これらのアブリケーションを使用します。 私たちはAPIのベストプラクティスでトレーニングされた最高のインフィルモデルをリリースし、将来の研究を支援するためにインフィルベンチマークをリリースしました。
  論文  参考訳（メタデータ） (2022-07-28T17:40:47Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Key Information Extraction From Documents: Evaluation And Generator [3.878105750489656]
  本研究プロジェクトは,文書からの情報抽出のための最先端モデルと比較する。 その結果,NLPに基づく事前処理はモデル性能に有益であることが示唆された。 境界ボックス回帰デコーダの使用により、長方形に従わないフィールドに対してのみモデル性能が向上する。
  論文  参考訳（メタデータ） (2021-06-09T16:12:21Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。