論文の概要: mmPencil: Toward Writing-Style-Independent In-Air Handwriting Recognition via mmWave Radar and Large Vision-Language Model

• arxiv url: http://arxiv.org/abs/2610.23419v1
• Date: Fri, 16 Oct 2026 13:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.920233
• Title: mmPencil: Toward Writing-Style-Independent In-Air Handwriting Recognition via mmWave Radar and Large Vision-Language Model
• Title（参考訳）: mmPencil:mmWaveレーダと大型ビジョンランゲージモデルによる筆記型非依存型空気中手書き認識を目指して
• Abstract要約: 無線周波数(RF)信号に基づく空気中の手書き文字認識は、人間とコンピュータの相互作用に有望な解決策を提供する。 ミリ波レーダセンシングと大規模視覚言語モデル(VLM)を橋渡しするモダリティマッピングアーキテクチャであるm2VLMを提案する。 mmPencilは, 多段空間軌道再構成アルゴリズムを用いて, mmWave信号から3次元手書き軌道を再構成する。 200人のユーザに対して97.60%の精度を達成し、50人のユーザに対して92.50%のゼロショット精度を達成し、最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 13.71910224217212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-air handwriting recognition based on radio frequency (RF) signals offers a promising solution for human-computer interaction, yet existing methods are often limited by predefined writing planes, constrained writing styles, and small recognition vocabularies. To address these limitations, we propose m^2VLMs, a modality mapping architecture that bridges millimeter-wave (mmWave) radar sensing and large vision-language models (VLMs), and develop mmPencil, a 3D in-air handwriting word recognition system. mmPencil reconstructs 3D handwriting trajectories from mmWave signals using a multi-stage spatial trajectory reconstruction algorithm and maps them into visual representations through a spatial-to-visual mapping algorithm, enabling VLMs to recognize handwriting while reducing sensitivity to writing styles and environmental factors. We collect and release a 3D mmWave handwriting dataset containing 7,664 samples of 200 words from 12 users across 22 writing scenarios. Extensive experiments demonstrate that mmPencil achieves robust word recognition under variations in writing position, range, angle, speed, size, direction, and user movement. It achieves 97.60% accuracy on 200 word classes for seen users and 92.50% zero-shot accuracy on 50 word classes for unseen users, outperforming state-of-the-art baselines.
• Abstract（参考訳）: 無線周波数(RF)信号に基づく空気中の手書き文字認識は、人間とコンピュータのインタラクションに有望な解決策を提供するが、既存の手法は、事前に定義された書き込みプレーン、制約された書き込みスタイル、小さな認識語彙によって制限されることが多い。 これらの制約に対処するため,ミリ波レーダセンシングと大規模視覚言語モデル(VLM)を橋渡しするモダリティマッピングアーキテクチャであるm^2VLMを提案し,3次元手書き文字認識システムであるmmPencilを開発した。 mmPencilは、多段階空間軌跡再構成アルゴリズムを用いて、mmWave信号からの3次元手書き軌跡を再構成し、それらを空間-視覚マッピングアルゴリズムを介して視覚表現にマッピングし、VLMが筆跡認識を可能とし、書跡や環境要因に対する感受性を低下させる。 我々は,22文字シナリオの12ユーザから,7,664個の単語のサンプルを含む3D mmWave手書きデータセットを収集,リリースした。 mmPencilは筆記位置,範囲,角度,速度,サイズ,方向,ユーザ移動の変動の下で,頑健な単語認識を実現する。 200人のユーザに対して97.60%の精度を達成し、50人のユーザに対して92.50%のゼロショット精度を達成し、最先端のベースラインを上回っている。

関連論文リスト

• Online Writer Retrieval with Chinese Handwritten Phrases: A Synergistic Temporal-Frequency Representation Learning Approach [53.189911918976655]
  DOLPHINは,相乗的時間周波数解析による手書き表現の向上を目的とした新しい検索モデルである。 OLIWER(OLIWER)は,1,731人から670,000以上の中国語の字句を含む大規模オンライン作家検索データセットである。 本研究は,手書き表現の質向上における点サンプリング周波数と圧力特性の重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-16T11:19:22Z)
• Bukva: Russian Sign Language Alphabet [75.42794328290088]
  本稿では,ロシア手話(RSL)ダクティルとしても知られる,ロシア語の指先文字の認識について検討する。 ダクティル (Dactyl) は手の動きが書かれた言語の個々の文字を表す手話の構成要素である。 当社は、RSLダクチル認識のための、最初の本格的なオープンソースビデオデータセットであるBakvaを提供している。
  論文  参考訳（メタデータ） (2024-10-11T09:59:48Z)
• Representing Online Handwriting for Recognition in Large Vision-Language Models [8.344510330567495]
  本稿では,テキストとして,画像として,時間順のストローク列を含む新しいデジタルインク(オンライン手書き)のトークン化表現を提案する。 この表現は、最先端のオンライン筆跡認識器に匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-23T13:11:10Z)
• Open-Vocabulary Point-Cloud Object Detection without 3D Annotation [62.18197846270103]
  オープン語彙の3Dポイントクラウド検出の目的は、任意のテキスト記述に基づいて新しいオブジェクトを識別することである。 様々な物体を局所化するための一般的な表現を学習できる点クラウド検出器を開発した。 また,画像,点雲,テキストのモダリティを結合する,非偏差三重項クロスモーダルコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2023-04-03T08:22:02Z)
• A CNN Based Framework for Unistroke Numeral Recognition in Air-Writing [12.19511601731438]
  本稿では,一般的なビデオカメラ支援畳み込みニューラルネットワーク(CNN)を用いた空気書き込みフレームワークを提案する。 ジェネリックビデオカメラの前に固定色のマーカーを用いてジェスチャーを行い、続いて色に基づくセグメンテーションを行い、マーカーを識別し、マーカー先端の軌跡を追跡する。 提案されたフレームワークは、英語、ベンガル語、デバナガリ数字の個人独立性評価において、97.7%、95.4%、93.7%の認識率を達成した。
  論文  参考訳（メタデータ） (2023-03-14T15:44:45Z)
• Letter-level Online Writer Identification [86.13203975836556]
  我々は文字レベルのオンラインライタIDという新たな問題に焦点をあてる。 主な課題は、しばしば異なるスタイルで手紙を書くことである。 我々はこの問題をオンライン書記スタイルのばらつき(Var-O-Styles)と呼ぶ。
  論文  参考訳（メタデータ） (2021-12-06T07:21:53Z)
• Towards an IMU-based Pen Online Handwriting Recognizer [2.6707647984082357]
  慣性測定単位(IMU)に基づく音声認識のためのオンライン手書き認識システムを提案する。 これは、加速度、角速度、およびBluetooth経由で流れる磁力を提供するセンサー付きペンによって得られる。 本モデルは畳み込み型LSTMネットワークと双方向型LSTMネットワークを組み合わせることで,コネクショナリストの時間的分類損失をトレーニングする。
  論文  参考訳（メタデータ） (2021-05-26T09:47:19Z)
• SmartPatch: Improving Handwritten Word Imitation with Patch Discriminators [67.54204685189255]
  本稿では,現在の最先端手法の性能を向上させる新手法であるSmartPatchを提案する。 我々は、よく知られたパッチ損失と、平行訓練された手書きテキスト認識システムから収集された情報を組み合わせる。 これにより、より強化された局所識別器が実現し、より現実的で高品質な手書き文字が生成される。
  論文  参考訳（メタデータ） (2021-05-21T18:34:21Z)
• Motion-Based Handwriting Recognition [1.0742675209112622]
  モーションセンサを備えたスタイラスをデザインし,ジャイロスコープと加速度センサによる読み出しを利用して文字分類を行う。 また、さまざまなデータ増強技術とその効果を探索し、最大86%の精度に達します。
  論文  参考訳（メタデータ） (2021-01-15T09:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。