論文の概要: InkSight: Offline-to-Online Handwriting Conversion by Learning to Read and Write
- arxiv url: http://arxiv.org/abs/2402.05804v3
- Date: Sun, 08 Dec 2024 21:05:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:50:56.225641
- Title: InkSight: Offline-to-Online Handwriting Conversion by Learning to Read and Write
- Title（参考訳）: InkSight: 読み書き学習によるオフラインからオフラインへの手書き変換
- Authors: Blagoj Mitrevski, Arina Rak, Julian Schnitzler, Chengkun Li, Andrii Maksai, Jesse Berent, Claudiu Musat,
- Abstract要約: InkSightは、物理的なメモ取り者が自分の仕事(オフラインの筆跡)をデジタルのインク(オンラインの筆跡)に変換するのを助ける
当社のアプローチでは、事前の読み書きと組み合わせて、大量のペアのサンプルがない場合にモデルをトレーニングすることが可能です。
人間の評価では,HierTextデータセット上で得られたサンプルの87%が,入力画像の有効なトレースとして検討されている。
- 参考スコア（独自算出の注目度）: 7.4539464693425925
- License:
- Abstract: Digital note-taking is gaining popularity, offering a durable, editable, and easily indexable way of storing notes in a vectorized form, known as digital ink. However, a substantial gap remains between this way of note-taking and traditional pen-and-paper note-taking, a practice that is still favored by a vast majority. Our work InkSight, aims to bridge the gap by empowering physical note-takers to effortlessly convert their work (offline handwriting) to digital ink (online handwriting), a process we refer to as derendering. Prior research on the topic has focused on the geometric properties of images, resulting in limited generalization beyond their training domains. Our approach combines reading and writing priors, allowing training a model in the absence of large amounts of paired samples, which are difficult to obtain. To our knowledge, this is the first work that effectively derenders handwritten text in arbitrary photos with diverse visual characteristics and backgrounds. Furthermore, it generalizes beyond its training domain into simple sketches. Our human evaluation reveals that 87% of the samples produced by our model on the challenging HierText dataset are considered as a valid tracing of the input image and 67% look like a pen trajectory traced by a human.
- Abstract（参考訳）: デジタルノートテイク(Digital note-take)は、デジタルインク(Digital ink)として知られるベクトル化された形式でノートを格納する、耐久性があり、編集可能で、簡単にインデックスできる方法を提供する。
しかし、このメモの方法と従来のペン・アンド・ペーパーのメモの方法との間には大きなギャップが残っており、これは依然として大多数に好まれるプラクティスである。
InkSightは、物理的なメモ取り者に、自分の仕事(オフライン手書き)をデジタルインク(オンライン手書き)に変換する力を与え、ギャップを埋めることを目的としています。
このトピックに関する以前の研究は、画像の幾何学的性質に焦点を合わせており、結果として、訓練領域を超えて、限定的な一般化がもたらされた。
提案手法では,事前の読み書きを組み合わせ,大量のペア化サンプルがない場合にモデルを訓練することが可能であり,入手が困難である。
我々の知る限り、これは様々な視覚的特徴と背景を持つ任意の写真で手書きのテキストを効果的にデレンダする最初の作品である。
さらに、トレーニングドメインを超えて単純なスケッチに一般化する。
人体評価の結果,HierTextデータセット上で得られたサンプルの87%は入力画像の有効な追跡であり,67%は人体で追跡されたペンの軌跡のように見えることがわかった。
関連論文リスト
- MetaScript: Few-Shot Handwritten Chinese Content Generation via
Generative Adversarial Networks [15.037121719502606]
漢字のデジタル表現における個人的手書きスタイルの存在感の低下に対処する新しいコンテンツ生成システムであるMetaScriptを提案する。
本手法は,個人固有の手書きスタイルを保ち,デジタルタイピングの効率を維持できる漢字を生成するために,数ショット学習の力を利用する。
論文 参考訳（メタデータ） (2023-12-25T17:31:19Z) - Sampling and Ranking for Digital Ink Generation on a tight computational
budget [69.15275423815461]
トレーニングされたデジタルインク生成モデルの出力品質を最大化する方法について検討する。
我々は、デジタルインク領域におけるその種類に関する最初のアブレーション研究において、複数のサンプリングとランキング手法の効果を使用、比較する。
論文 参考訳（メタデータ） (2023-06-02T09:55:15Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳（メタデータ） (2023-04-12T10:33:18Z) - Character-Aware Models Improve Visual Text Rendering [57.19915686282047]
現在の画像生成モデルは、十分に整形されたビジュアルテキストを生成するのに苦労している。
文字認識モデルは、新しい綴りタスクに大きな利益をもたらす。
われわれのモデルでは、ビジュアルスペルの精度は比較的高く、稀な単語の競合よりも30以上の精度が向上した。
論文 参考訳（メタデータ） (2022-12-20T18:59:23Z) - PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。
以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。
セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
論文 参考訳（メタデータ） (2022-09-30T11:08:39Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳（メタデータ） (2022-05-09T04:23:36Z) - Content and Style Aware Generation of Text-line Images for Handwriting
Recognition [4.301658883577544]
視覚的外観とテキストコンテンツの両方を条件とした手書きテキストライン画像の生成法を提案する。
本手法では,多彩な手書きスタイルの長いテキストラインサンプルを作成できる。
論文 参考訳（メタデータ） (2022-04-12T05:52:03Z) - Letter-level Online Writer Identification [86.13203975836556]
我々は文字レベルのオンラインライタIDという新たな問題に焦点をあてる。
主な課題は、しばしば異なるスタイルで手紙を書くことである。
我々はこの問題をオンライン書記スタイルのばらつき(Var-O-Styles)と呼ぶ。
論文 参考訳（メタデータ） (2021-12-06T07:21:53Z) - Spectral Graph-based Features for Recognition of Handwritten Characters:
A Case Study on Handwritten Devanagari Numerals [0.0]
本稿では,手書き文字を表現するために,頑健なグラフ表現とスペクトルグラフ埋め込みの概念を利用する手法を提案する。
提案手法の有効性の検証のために,インド統計研究所コルカタデータセットの標準手書き数値視覚パターン認識について広範な実験を行った。
論文 参考訳（メタデータ） (2020-07-07T08:40:08Z) - FCN+RL: A Fully Convolutional Network followed by Refinement Layers to
Offline Handwritten Signature Segmentation [3.3144312096837325]
そこで本研究では,手書き署名の画素の識別と抽出を行う手法を提案する。
この技術は、完全な畳み込みエンコーダ・デコーダネットワークと、予測された画像のアルファチャネルのための洗練されたレイヤのブロックを組み合わせたものである。
論文 参考訳（メタデータ） (2020-05-28T18:47:10Z) - Spatio-Temporal Handwriting Imitation [11.54523121769666]
プロセスを小さなサブタスクに分割することで、人間の視覚的に区別できない確率で、誰かの筆跡を模倣することができる。
また,作成した偽の筆跡から,典型的な筆跡識別システムも部分的には騙すことができることを示す。
論文 参考訳（メタデータ） (2020-03-24T00:46:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。