論文の概要: 2D Rotary Position Embedding for Scene Text Recognition with Transformers

• arxiv url: http://arxiv.org/abs/2607.13458v1
• Date: Wed, 15 Jul 2026 05:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.661937
• Title: 2D Rotary Position Embedding for Scene Text Recognition with Transformers
• Title（参考訳）: 変圧器を用いたシーンテキスト認識のための2次元回転位置埋め込み
• Abstract要約: RoPE(Rotary Position Embedding)の軸方向2次元拡張は、視覚変換器には存在するが、大まかに正方形、等方形画像の内容を仮定し、エンコーダの自己注意の中でのみ回転を適用する。 2D-RoPE-STRは,(1)テキストのアスペクト比と一致する異方性行/カラム次元の割り当て,(2)エンコーダ・デコーダのクロスアテンションへの回転結合の拡張により,軸方向の2D-RoPEをこの設定に適応させる。
• 参考スコア（独自算出の注目度）: 0.40611352512781856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene Text Recognition (STR) remains challenging due to the diversity of text appearances, including curvature, rotation, and perspective distortion. Recent Transformer-based approaches perform well but usually rely on one-dimensional positional encodings that ignore the 2D spatial structure of text images. Axial 2D extensions of Rotary Position Embedding (RoPE) exist for vision Transformers, but they assume roughly square, isotropic image content and apply the rotation only within encoder self-attention. Scene text violates both assumptions: crops are markedly anisotropic, and STR models are encoder-decoder, so the decoder must relate its queries to the encoder's 2D layout through cross-attention. We introduce 2D-RoPE-STR, which adapts axial 2D-RoPE to this setting through (1) an anisotropic row/column dimension allocation matched to the aspect ratio of text, and (2) an extension of the rotary coupling into encoder-decoder cross-attention, letting autoregressive decoding steps attend to encoder tokens by their 2D layout, a setting not addressed by prior encoder-only formulations. Both changes are essentially parameter-free and require no architectural redesign beyond the positional-encoding module. We further introduce a diagnostic protocol (a controlled ablation pair isolating only the positional encoding, an image-level net-win disagreement analysis, and encoder attention visualization) that identifies where and why relative 2D position helps: curved, rotated, and perspective-distorted layouts where reading order departs from a straight horizontal line. On six standard benchmarks (IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP), gains concentrate on exactly these irregular layouts, with ablations isolating each design choice against 1D RoPE and 2D sinusoidal and learnable alternatives.
• Abstract（参考訳）: Scene Text Recognition (STR) は、曲率、回転、視点歪みなどのテキストの出現の多様性のため、依然として困難である。 最近のTransformerベースのアプローチはよく機能するが、通常はテキスト画像の2次元空間構造を無視した1次元の位置エンコーディングに依存している。 RoPE(Rotary Position Embedding)の軸方向2次元拡張は、視覚変換器には存在するが、大まかに正方形、等方形画像の内容を仮定し、エンコーダの自己注意の中でのみ回転を適用する。 作物は明らかに異方性であり、STRモデルはエンコーダ・デコーダであるため、デコーダはそのクエリとエンコーダの2Dレイアウトをクロスアテンションを通して関連付けなければならない。 2D-RoPE-STRは,(1)テキストのアスペクト比と一致する異方性行/カラム次元のアロケーションと,(2)エンコーダ・デコーダのクロスアテンションへの回転結合の拡張により,自己回帰デコーダのステップを2次元レイアウトでエンコーダトークンに付随させることができる。 どちらの変更も基本的にパラメータフリーであり、位置エンコーディングモジュール以外のアーキテクチャの再設計は不要である。 さらに、位置符号化のみを分離する制御されたアブレーションペア、画像レベルのネットウィン不一致解析、エンコーダアテンション可視化(encoder attention visualization)を導入し、相対的な2次元位置が、直線的な水平線から読み出し順序を逸脱する方向を曲がり、回転し、視点が歪んだレイアウトにどのように役立つかを特定する。 6つの標準ベンチマーク(IIIT5K, SVT, ICDAR 2013 ICDAR 2015 CUTE80, SVTP)では、これらの不規則なレイアウトに重点を置いており、それぞれの設計選択を1D RoPEと2D正弦波と学習可能な代替品に対して分離している。

関連論文リスト

• Embedding Rotation Invariance for Provable Multi-Oriented Scene Text Recognition [49.665177053925184]
  多目的テキストはシーンテキスト認識において大きな課題である。 既存の回転認識手法はテキストの向きを明示的に推定する。 これらの制限に対処するために、回転不変性をSTRフレームワークに組み込む。
  論文  参考訳（メタデータ） (2026-08-11T09:06:46Z)
• RayPE: Ray-Space Positional Encoding for 3D-Aware Video Generation [43.253222907352146]
  RayPEは、位置エンコーディング拡張で、トークンごとの6D Plucker座標を、自己注意のクエリとキーに付加的に注入する。 結果として得られた注意スコアは、内容項、幾何学用語、および2つの内容と幾何学的相互項に分解される。
  論文  参考訳（メタデータ） (2026-06-25T17:51:02Z)
• URoPE: Universal Relative Position Embedding across Geometric Spaces [55.651792747815854]
  URoPEは回転位置埋め込み(Rotary Position Embedding, RoPE)の普遍的な拡張である。 キー/値の画像パッチごとに、URoPEは事前に定義された奥行きアンカーで対応するカメラ線に沿って3Dポイントをサンプリングする。 標準2D RoPEは、投影されたピクセル座標を用いて適用することができる。
  論文  参考訳（メタデータ） (2026-04-20T18:52:03Z)
• Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane [49.14270539697387]
  Spiral RoPEは、多方向位置符号化を可能にするシンプルで効果的な拡張である。 分類、セグメンテーション、生成を含む幅広い視覚タスクにおいて、Spral RoPEは一貫して性能を改善している。
  論文  参考訳（メタデータ） (2026-02-03T07:56:58Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space [77.6067460464962]
  SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。 我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。 シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
  論文  参考訳（メタデータ） (2023-09-26T02:09:52Z)
• 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
  我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。 2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。 スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-11-12T06:14:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。