論文の概要: Spike-HTR: Spiking Neural Transformer for Handwritten Text Recognition
- arxiv url: http://arxiv.org/abs/2608.01646v1
- Date: Mon, 03 Aug 2026 03:33:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.31433
- Title: Spike-HTR: Spiking Neural Transformer for Handwritten Text Recognition
- Title(参考訳): Spike-HTR:手書き文字認識のためのスパイクニューラルトランス
- Abstract要約: 手書き文字認識(HTR)は、ほとんどの画像ピクセルは背景であり、多くの幅軸配列位置は空白である。
本研究では,深部シークエンスミキサーによって処理されるスパイキングステップ数と幅位置数の両方を制御するハイブリッドスパイキング認識器Spike-HTRを提案する。
- 参考スコア(独自算出の注目度): 18.182498348045723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Handwritten Text Recognition (HTR) is computationally imbalanced in two ways: most image pixels are background, and many width-axis sequence positions are blank-dominated. This creates a mismatch for Spiking Neural Networks (SNNs): handwriting is observed as a static image, whereas spiking computation unfolds over timesteps. We propose Spike-HTR, a hybrid spiking recognizer that controls both the number of spiking steps and the number of width positions processed by the deep sequence mixer. To make a static image suitable for short-horizon spiking inference, InkCoder converts it into a coarse-to-fine input stream, where early steps cover broad stroke regions and later steps emphasize sharper stroke details. To reduce sequence computation, a CTC-guided length reducer keeps likely character or uncertain positions and compresses long blank-dominated stretches before deep mixing. With $T{=}2$, Spike-HTR trains only on target data, decodes without language models or lexicons, and reaches validation/test CERs of 3.5/5.4, 2.3/2.5, and 4.2/3.9 on IAM, LAM, and READ2016. Codes are available at https://github.com/QomolangmaH/SpikeHTR.
- Abstract(参考訳): 手書き文字認識(HTR)は、ほとんどの画像ピクセルは背景であり、多くの幅軸配列位置は空白である。
これにより、スパイキングニューラルネットワーク(SNN)のミスマッチが発生し、静的イメージとして手書きが観察される一方、スパイキング計算はタイムステップを越えて展開される。
本研究では,深部シークエンスミキサーによって処理されるスパイキングステップ数と幅位置数の両方を制御するハイブリッドスパイキング認識器Spike-HTRを提案する。
短水平スパイク推論に適した静止画像を作成するため、InkCoderはそれを粗い入力ストリームに変換し、初期ステップは広いストローク領域をカバーし、その後ステップはよりシャープなストローク詳細を強調する。
シーケンス計算を低減するため、CTC誘導長低減器は、潜在的な特性または不確実な位置を保持し、深い混合前に長い空白支配ストレッチを圧縮する。
T{=}2$で、Spike-HTRはターゲットデータのみをトレーニングし、言語モデルや辞書なしでデコードし、IAM、LAM、READ2016で3.5/5.4、2.3/2.5、4.2/3.9の検証/テストCERに達する。
コードはhttps://github.com/QomolangmaH/SpikeHTRで公開されている。
関連論文リスト
- From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models [11.867302372573505]
重み付け予測は,出力インターフェースを継承することなく,生成事前学習の恩恵を受けられることを示す。
一致した4B設定では、編集+遅延復号化よりも2.48倍高速で2.48倍の精度で、出力インターフェースを継承することなく、生成前トレーニングの恩恵を受けることができる。
論文 参考訳(メタデータ) (2026-07-07T17:54:28Z) - PointSplat: Compact Gaussian Splatting via Human-Centric Prediction [70.45838533838104]
本研究では,ハエのインプットビューから3次元人間表現を創出する新しい人間中心のアプローチであるPointSplatを提案する。
提案手法は,まず粗い幾何学的プロキシを推定し,冗長点を起点とするレイキャスティングを行う。
その後、ポイント・イメージ・トランスフォーマーを使用して外観と幾何学的特徴を融合させ、ガウスの属性を1つの前方通過で予測する。
論文 参考訳(メタデータ) (2026-06-30T17:59:05Z) - PEPS: Positional Encoding Projected Sampling -- Extended [1.096360026325105]
入射神経表現(INR)は、座標を信号にマッピングするツールとして、ますます使われてきている。
多くのINR法は、グリッドや位置符号化などのエンコーダによる初期座標の高次元投影を用いている。
位置符号化は高次元埋め込みだけでなく,意味のある点の連続として利用できることを示す。
論文 参考訳(メタデータ) (2026-04-27T08:23:39Z) - A Transformer Based Handwriting Recognition System Jointly Using Online and Offline Features [8.419663258260671]
オフライン画像とオンラインストロークデータの早期融合を行うエンド・ツー・エンド・ネットワークを提案する。
我々の手法は最先端の精度を達成し、過去のベストを最大1%上回っている。
論文 参考訳(メタデータ) (2025-06-25T08:58:47Z) - Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。
マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。
本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
論文 参考訳(メタデータ) (2025-06-09T17:54:04Z) - High-Frequency Prior-Driven Adaptive Masking for Accelerating Image Super-Resolution [87.56382172827526]
高周波領域は再建に最も重要である。
本稿では,アクセラレーションのためのトレーニング不要適応マスキングモジュールを提案する。
本手法は,最先端モデルのFLOPを24~43%削減する。
論文 参考訳(メタデータ) (2025-05-11T13:18:03Z) - Spherical Linear Interpolation and Text-Anchoring for Zero-shot Composed Image Retrieval [43.47770490199544]
Composed Image Retrieval (CIR)は、画像とキャプションで構成されたクエリを使って画像を取得する複雑なタスクである。
Slerp(Spherical Linear Interpolation)を用いて画像とテキストを直接マージする新しいZS-CIR手法を提案する。
また,テキストエンコーダを固定しながら画像エンコーダを微調整するText-Anchored-Tuning (TAT)を導入する。
論文 参考訳(メタデータ) (2024-05-01T15:19:54Z) - Scalable Adaptive Computation for Iterative Generation [13.339848496653465]
リカレントインタフェースネットワーク(Recurrent Interface Networks, RIN)は、データ次元からコア計算を分離するアテンションベースのアーキテクチャである。
RINは、潜在トークンとデータトークンの間の情報の読み込みと書き込みにクロスアテンションを使用する、潜在トークンのセットに計算の大部分を集中する。
RINは、画像生成とビデオ生成のための最先端のピクセル拡散モデルを生成し、カスケードやガイダンスなしで1024X1024画像にスケーリングする。
論文 参考訳(メタデータ) (2022-12-22T18:55:45Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。
エンドツーエンドのNAR音声認識システムを提案する。
提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
論文 参考訳(メタデータ) (2021-07-20T11:42:26Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳(メタデータ) (2021-05-29T08:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。