論文の概要: ExpertHTR: Unified Handwritten Text Recognition with Multi-Task Learning and Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2609.12705v1
• Date: Fri, 11 Sep 2026 10:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.723738
• Title: ExpertHTR: Unified Handwritten Text Recognition with Multi-Task Learning and Sparse Mixture-of-Experts
• Title（参考訳）: ExpertHTR:マルチタスク学習とスパースミキサーを用いた手書き文字認識
• Abstract要約: 手書き文字認識リソースは小さく、言語、スクリプト、文書構造、アノテーション形式が異なるコレクションに分散されることが多い。 本稿では,補完的な監督と条件付きモデルキャパシティを通じて,この問題に対処する統合視覚言語フレームワークであるExpertHTRを提案する。 共同でトレーニングされた密集モデルに基づいて、ExpertHTRは、常にアクティブな共有ブランチと条件付きフルMLP専門家によるスパースミックスオブエキスパートアーキテクチャを導入している。
• 参考スコア（独自算出の注目度）: 4.5311655360445515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Handwritten text recognition resources are often small and distributed across collections that differ in language, script, document structure, and annotation format, making joint page-level training difficult. We propose ExpertHTR, a unified vision-language framework that addresses this problem through complementary supervision and conditional model capacity. Structural annotations from heterogeneous datasets are first organized through a common Page-Region-Line representation and used to construct four related training tasks for complete transcription, physical-line coverage, text localization, and localized recognition, without requiring additional manual labels. Building on a jointly trained dense model, ExpertHTR introduces a sparse Mixture-of-Experts architecture with an always-active shared branch and conditionally routed full-MLP experts. Sparsegen allows the number of active routed experts to vary with the hidden representation, while routing regularization reduces persistent concentration on a small subset of experts. Experiments on seven heterogeneous handwriting benchmarks show that complementary supervision consistently improves training with page transcription alone, while joint multi-source training provides further gains on most datasets. The proposed sparse expert model further improves the dense baseline on six of the seven sources. The final unified model also substantially outperforms the evaluated general-purpose OCR and vision-language systems on most benchmarks and achieves state-of-the-art performance on the IAM paragraph-level benchmark, while specialized HTR systems remain stronger on several challenging collections.
• Abstract（参考訳）: 手書きのテキスト認識リソースは、しばしば小さく、言語、スクリプト、文書構造、アノテーション形式が異なるコレクションに分散しており、共同ページレベルのトレーニングを困難にしている。 本稿では,補完的な監督と条件付きモデルキャパシティを通じて,この問題に対処する統合視覚言語フレームワークであるExpertHTRを提案する。 ヘテロジニアスデータセットの構造的アノテーションは、まず共通のPage-Region-Line表現を通して整理され、追加のマニュアルラベルを必要とせずに、完全な転写、物理線カバレッジ、テキストローカライゼーション、ローカライズド認識のための4つの関連するトレーニングタスクを構築するために使用される。 共同でトレーニングされた密集モデルに基づいて、ExpertHTRは、常にアクティブな共有ブランチと条件付きフルMLP専門家によるスパースミックスオブエキスパートアーキテクチャを導入している。 Sparsegenは、隠れた表現でアクティブなルーティングされた専門家の数を変更できるようにし、ルーティング規則化は専門家の少数のサブセットに永続的な集中を減少させる。 7つの異種手書きベンチマークの実験では、補完的な監督がページの書き起こしのみによるトレーニングを一貫して改善する一方、共同マルチソーストレーニングは、ほとんどのデータセットでさらなる向上をもたらすことが示されている。 提案したスパースエキスパートモデルにより、7つのソースのうち6つのベースラインの密度が向上する。 最終的な統一モデルは、ほとんどのベンチマークにおいて評価された汎用OCRとビジョン言語システムを大幅に上回り、IAM段落レベルのベンチマークでは最先端の性能を達成します。

関連論文リスト

• Achieving Text-based Person Retrieval with Any Granularity [80.69427598925718]
  本稿では、任意の粒度を持つテキストベースの人物検索という新しいパラダイムを紹介する。 5段階の粒度スペクトルを定式化し,高品質な多粒度アノテートデータセットであるUFine6926-MGを構築した。 次に、クロスモーダルな多重粒度アライニングおよびマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-23T08:42:25Z)
• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image [52.47434184153733]
  MulTaBenchは40のデータセットのベンチマークで、画像-タブラルタスクとテキスト-タブラルタスクを等しく分割する。 テキストと画像のモダリティにまたがって、ターゲット認識表現のチューニングによる利得が一般化されることを示す。
  論文  参考訳（メタデータ） (2026-05-11T14:12:05Z)
• DocRefine: An Intelligent Framework for Scientific Document Understanding and Content Optimization based on Multimodal Large Model Agents [25.190790899297788]
  DocRefineは、インテリジェントな理解、コンテンツの改良、科学的なPDF文書の自動要約のために設計された革新的なフレームワークである。 6つの専門的かつ協調的なエージェントからなる洗練されたマルチエージェントシステムを編成する。 さまざまなタスクにおいて、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-09T15:32:52Z)
• MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• Beyond Retrieval: Joint Supervision and Multimodal Document Ranking for Textbook Question Answering [3.6799953119508735]
  本稿では,意味表現を拡張化するためのメカニズムを導入することで,マルチモーダルな教科書質問応答手法を提案する。 我々のモデルであるJETRTQA(Joint Embedding Training With Ranking Supervision for Textbook Question Answering)は、検索ジェネレータアーキテクチャ上に構築されたマルチモーダル学習フレームワークである。 本手法をCK12-QAデータセット上で評価し,情報化文書と無関係文書の識別を著しく改善することを示す。
  論文  参考訳（メタデータ） (2025-05-17T13:23:54Z)
• HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis [21.25786478579275]
  手書き文書認識は、コンピュータビジョンにおいて最も難しいタスクの1つである。 伝統的に、この問題は手書き文字認識とレイアウト解析という2つの別々のタスクとしてアプローチされてきた。 本稿では,テキスト認識とレイアウト解析を同時に行うための,新しいエンドツーエンドおよびセグメンテーションフリーアーキテクチャであるHANDを紹介する。
  論文  参考訳（メタデータ） (2024-12-25T20:36:29Z)
• Clustering Algorithms and RAG Enhancing Semi-Supervised Text Classification with Large LLMs [1.6575279044457722]
  本稿では,セミスーパービジョンテキスト分類タスクの性能向上を目的としたクラスタリング,ラベル付け,拡張フレームワークを提案する。 従来のSSTCアプローチとは異なり、このフレームワークはクラスタリングを使用してラベリングの代表的な"ランドマーク"を選択する。 実験の結果,100以上のカテゴリを含む複雑な文書分類シナリオにおいても,Reutersデータセットでは95.41%,Web of Scienceデータセットでは82.43%の最先端の精度を達成した。
  論文  参考訳（メタデータ） (2024-11-09T13:17:39Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• Sequential Visual and Semantic Consistency for Semi-supervised Text Recognition [56.968108142307976]
  Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。 既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。 本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:00:54Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。