論文の概要: inkGround: Benchmarking Fine-grained Visual Grounding Capabilities of Vision-Language Models for Cursive Handwriting in the Wild
- arxiv url: http://arxiv.org/abs/2610.38720v1
- Date: Wed, 28 Oct 2026 19:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.998163
- Title: inkGround: Benchmarking Fine-grained Visual Grounding Capabilities of Vision-Language Models for Cursive Handwriting in the Wild
- Title（参考訳）: inkGround: 野生でのカーシブ手書きのための視覚言語モデルのきめ細かい視覚的グラウンド機能のベンチマーク
- Abstract要約: 手書き軌道回復は、順序付けられたストロークポイントとそのペンアップ/ペンダウン遷移を復元することを目的としている。
既存の画像軌跡ペアデータセットは、制御条件下でのデジタル化タブレットで記録される。
InkGroundは、フルページのカメラキャプチャによる手書き文字によるストローク軌道回復のためのベンチマークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human handwriting is produced as an ordered sequence of pen movements, but an offline image keeps only the final ink. Handwriting trajectory recovery aims to restore the ordered stroke points and their pen-up/pen-down transitions. Existing image-trajectory pair datasets are recorded with digitizing tablets under controlled conditions, which limits writer coverage and stylistic diversity. Moreover, there is no benchmark that measures the visual grounding capabilities of general-purpose Vision-Language Models (VLMs) for the stroke trajectory recovery task. In this work, we introduce inkGround, a benchmark for stroke trajectory recovery from full-page, camera-captured handwriting. inkGround pairs 537 page images (~18.7k words, ~163k strokes) with reference trajectories produced by a pretrained offline-to-online model, filtered by OCR agreement, and verified by human raters. Because these references are pseudo-labels that represent one plausible pen trajectory, we also evaluate VLMs on the IAM-OnDB dataset, which provides recorded pen trajectories. We cast the task as text-conditioned point grounding: given a page image and a target word, the model must locate the word and output its ordered stroke points. Outputs are scored by trajectory fidelity (DTW, Chamfer distance), readability of the rendered strokes (Accurate Rate, Correct Rate), and style similarity. We benchmark four open-source and three frontier closed-source VLMs with a shared in-context prompt. Closed-source models, notably Gemini-3.1-Pro, produce legible trajectories close to the reference, and this ranking also holds on IAM-OnDB.
- Abstract（参考訳）: 人間の手書きはペンの動きの順序として生成されるが、オフライン画像は最後のインクのみを保持する。
手書き軌道回復は、順序付けられたストロークポイントとそのペンアップ/ペンダウン遷移を復元することを目的としている。
既存のイメージトラジェクティブペアデータセットは、制御された条件下でのタブレットのデジタル化によって記録され、ライターのカバレッジとスタイルの多様性が制限される。
また、脳卒中軌道回復作業のための汎用視覚言語モデル(VLM)の視覚的接地能力を測定するベンチマークは存在しない。
本研究では,フルページカメラによる手書き文字からのストローク軌道回復のためのベンチマークであるinkGroundを紹介する。
inkGroundは、537ページのイメージ(約18.7kワード、約163kストローク)と事前訓練されたオフライン-オンラインモデルによって生成された参照軌跡をOCR合意でフィルタリングし、人間のレーダによって検証する。
これらの参照は1つのペン・トラジェクトリを表す擬似ラベルであるため、記録されたペン・トラジェクトリを提供するIAM-OnDBデータセット上のVLMも評価する。
タスクをテキスト条件のポイントグラウンドとしてキャストする: ページイメージとターゲットワードが与えられた場合、モデルは単語の位置を特定し、順序付けられたストロークポイントを出力しなければならない。
出力は、軌跡忠実度(DTW、チャンファー距離)、レンダリングストロークの可読性(正確なレート、正しいレート)、スタイルの類似性によって評価される。
4つのオープンソースと3つのフロンティアクローズドソースVLMを、コンテクスト内で共有するプロンプトでベンチマークする。
クローズドソースモデル、特にGemini-3.1-Proは、参照に近い可視軌道を生成し、このランキングはIAM-OnDBにも当てはまる。
関連論文リスト
- Handwriting Trajectory Recovery with Diffusion Models [8.60892545731595]
本稿では,手書き軌道復元のための拡散モデルに基づく最初のフレームワークを提案する。
画像条件付き生成としてトラジェクトリリカバリを定式化する。
複雑なマルチストロークキャラクタであっても,提案手法が正確なリカバリを可能にすることを確認した。
論文 参考訳（メタデータ） (2026-07-03T15:36:27Z) - Detecting Pen-In-Air States from Video: A Proof-of-Concept Toward Complementary Handwriting Analysis [1.8744230606349503]
テーブルベースセンシングはペンアップ動作の解析を筆記面上の短い近接範囲に制限する。
YOLOをベースとした検出器と動画像の特徴抽出と機械学習の分類を併用したハイブリッドパイプラインを提案する。
結果は、デジタル化タブレットの低コストで非侵襲的な補完として、ビデオベースのPen-Up検出の実現性をサポートし、将来の大規模研究の基盤を提供する。
論文 参考訳（メタデータ） (2026-06-01T14:50:27Z) - CASHG: Context-Aware Stylized Online Handwriting Generation [12.580543720353043]
本稿では,コンテキスト認識型オンライン手書き文字生成器CASHGを提案する。
CASHGは、スタイル一貫性のある文レベルの軌道合成のための文字間接続を明示的にモデル化する。
本稿では,CSM(Connectivity and Spacing Metrics)について紹介する。
論文 参考訳（メタデータ） (2026-04-02T14:32:31Z) - CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning [65.10059440725041]
視覚言語モデル(VLM)は画像キャプション、視覚的質問応答、視覚的推論において顕著な進歩を遂げている。
ヴィジュアル言語を誤用する傾向があり、しばしば過度に汎用的あるいは幻覚的な記述を生み出している。
既存のアプローチでは、コストがかかる大規模アノテートデータセットのインストラクションチューニングと、キャプションリファインメントのための複雑なテストタイムフレームワークによって、この問題に対処している。
本研究では,サイクル一貫性のレンズを用いて,画像テキストのアライメントを再考する。
論文 参考訳（メタデータ） (2026-03-18T20:57:31Z) - VecGlypher: Unified Vector Glyph Generation with Language Models [49.18215716168074]
VecGlypherはテキスト記述や画像例から直接、高忠実度ベクトルグリフを生成する。
VecGlypherはSVGパストークンを自動回帰的に出力し、中間文字とターゲット文字を避ける。
論文 参考訳（メタデータ） (2026-02-25T00:27:23Z) - StrokeNet: Unveiling How to Learn Fine-Grained Interactions in Online Handwritten Stroke Classification [9.447865895922982]
ストローク分類は、書き方、あいまいな内容、動的書き方の違いにより、依然として困難である。
我々の観察では、ストローク相互作用は典型的に局所化されていることが示されており、既存のディープラーニング手法ではそのようなきめ細かい関係を捉えるのが困難である。
基準点を選択して逐次順序でストロークをきめ細かな方法で表現することにより、この問題を効果的に解決することができる。
論文 参考訳（メタデータ） (2025-12-06T04:41:08Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳（メタデータ） (2025-09-26T07:11:55Z) - Online Writer Retrieval with Chinese Handwritten Phrases: A Synergistic Temporal-Frequency Representation Learning Approach [53.189911918976655]
DOLPHINは,相乗的時間周波数解析による手書き表現の向上を目的とした新しい検索モデルである。
OLIWER(OLIWER)は,1,731人から670,000以上の中国語の字句を含む大規模オンライン作家検索データセットである。
本研究は,手書き表現の質向上における点サンプリング周波数と圧力特性の重要性を強調した。
論文 参考訳（メタデータ） (2024-12-16T11:19:22Z) - Letter-level Online Writer Identification [86.13203975836556]
我々は文字レベルのオンラインライタIDという新たな問題に焦点をあてる。
主な課題は、しばしば異なるスタイルで手紙を書くことである。
我々はこの問題をオンライン書記スタイルのばらつき(Var-O-Styles)と呼ぶ。
論文 参考訳（メタデータ） (2021-12-06T07:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。