論文の概要: N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition

• arxiv url: http://arxiv.org/abs/2603.03930v2
• Date: Tue, 10 Mar 2026 08:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 12:59:12.916224
• Title: N-gram Injection into Transformers for Dynamic Language Model Adaptation in Handwritten Text Recognition
• Title（参考訳）: 手書き文字認識における動的言語モデル適応のための変換器へのN-gram注入
• Authors: Florent Meyer, Laurent Guichard, Yann Soullard, Denis Coquenet, Guillaume Gravier, Bertrand Coüasnon,
• Abstract要約: 推論時間におけるネットワーク言語モデリングの動的適応のための外部n-gramインジェクション(NGI)を提案する。 本手法では,n-gram言語モデルに切り替えることが可能である。 3つの手書きデータセットの実験により、提案したNGIは、ソースとターゲットコーパス間の性能ギャップを著しく低減することが示された。
• 参考スコア（独自算出の注目度）: 23.290069475606305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based encoder-decoder networks have recently achieved impressive results in handwritten text recognition, partly thanks to their auto-regressive decoder which implicitly learns a language model. However, such networks suffer from a large performance drop when evaluated on a target corpus whose language distribution is shifted from the source text seen during training. To retain recognition accuracy despite this language shift, we propose an external n-gram injection (NGI) for dynamic adaptation of the network's language modeling at inference time. Our method allows switching to an n-gram language model estimated on a corpus close to the target distribution, therefore mitigating bias without any extra training on target image-text pairs. We opt for an early injection of the n-gram into the transformer decoder so that the network learns to fully leverage text-only data at the low additional cost of n-gram inference. Experiments on three handwritten datasets demonstrate that the proposed NGI significantly reduces the performance gap between source and target corpora.
• Abstract（参考訳）: トランスフォーマーベースのエンコーダ・デコーダネットワークは、最近、言語モデルを暗黙的に学習する自動回帰デコーダのおかげで、手書きテキスト認識において印象的な成果を上げている。 しかし、そのようなネットワークは、トレーニング中に見られるソーステキストから言語分布がシフトしたターゲットコーパスで評価した場合、大きなパフォーマンス低下に悩まされる。 この言語シフトにもかかわらず、認識精度を維持するために、推論時にネットワークの言語モデリングを動的に適応するための外部n-gramインジェクション(NGI)を提案する。 そこで本手法では,n-gram言語モデルに切り替えることにより,ターゲット画像とテキストのペアに余分な訓練を加えることなく,バイアスを軽減できる。 我々は,変換器デコーダにn-gramを早期に注入することで,n-gram推論の低コストで,テキストのみのデータを完全に活用できることを学習する。 3つの手書きデータセットの実験により、提案したNGIはソースとターゲットコーパス間の性能ギャップを著しく低減することが示された。

関連論文リスト

• LOGO: Video Text Spotting with Language Collaboration and Glyph Perception Model [20.007650672107566]
  ビデオテキストスポッティング(VTS)は、ビデオ内のテキストインスタンスを同時にローカライズ、認識、追跡することを目的としている。 最近の方法では、最先端の画像テキストスポッターのゼロショット結果を直接追跡する。 特定のデータセット上の微調整トランスフォーマーベースのテキストスポッターにより、パフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2024-05-29T15:35:09Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• TRIG: Transformer-Based Text Recognizer with Initial Embedding Guidance [15.72669617789124]
  シーンテキスト認識(STR)は画像とテキストの間の重要なブリッジである。 最近の手法では、凍結初期埋め込みを使用してデコーダを誘導し、特徴をテキストにデコードし、精度が低下する。 TRansformer-based text recognizer with Initial embeddeding Guidance (TRIG) という,テキスト認識のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-16T09:10:39Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
  オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。 復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。 提案手法では,平均で50ms以下の単語のタイミング差が得られる。
  論文  参考訳（メタデータ） (2021-04-27T23:31:43Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。