論文の概要: CalliRewrite: Recovering Handwriting Behaviors from Calligraphy Images without Supervision
- arxiv url: http://arxiv.org/abs/2405.15776v1
- Date: Wed, 20 Mar 2024 08:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 08:29:41.481730
- Title: CalliRewrite: Recovering Handwriting Behaviors from Calligraphy Images without Supervision
- Title（参考訳）: CalliRewrite: 監督不要の書字画像から手書き動作を復元する
- Authors: Yuxuan Luo, Zekun Wu, Zhouhui Lian,
- Abstract要約: CalliRewrite(カリリライト)は、ロボットアームが様々な筆跡画像から読みやすい文字の注文を発見し、回収する、粗大なアプローチである。
本研究では,未知の文字の完全性を保ちつつ,未知のフォントやスタイルの再現に成功していることを示す。
- 参考スコア（独自算出の注目度）: 14.678764748808165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-like planning skills and dexterous manipulation have long posed challenges in the fields of robotics and artificial intelligence (AI). The task of reinterpreting calligraphy presents a formidable challenge, as it involves the decomposition of strokes and dexterous utensil control. Previous efforts have primarily focused on supervised learning of a single instrument, limiting the performance of robots in the realm of cross-domain text replication. To address these challenges, we propose CalliRewrite: a coarse-to-fine approach for robot arms to discover and recover plausible writing orders from diverse calligraphy images without requiring labeled demonstrations. Our model achieves fine-grained control of various writing utensils. Specifically, an unsupervised image-to-sequence model decomposes a given calligraphy glyph to obtain a coarse stroke sequence. Using an RL algorithm, a simulated brush is fine-tuned to generate stylized trajectories for robotic arm control. Evaluation in simulation and physical robot scenarios reveals that our method successfully replicates unseen fonts and styles while achieving integrity in unknown characters.
- Abstract（参考訳）: 人間のような計画スキルと巧妙な操作は、ロボット工学と人工知能(AI)の分野で長年、課題を提起してきた。
筆跡再解釈の課題は、筆跡の分解や器器の豪華な制御など、非常に困難な課題である。
これまでは主に、クロスドメインテキスト複製の領域におけるロボットの性能を制限する、単一の楽器の教師あり学習に重点を置いてきた。
これらの課題に対処するために,ロボットアームが多彩な筆跡画像から読みやすい文字の注文をラベル付きデモンストレーションを必要とせずに発見・回収する,粗大できめのアプローチであるCalliRewriteを提案する。
本モデルは,各種筆記具のきめ細かい制御を実現する。
具体的には、教師なし画像列モデルは、所定の書跡グリフを分解して粗いストロークシーケンスを得る。
RLアルゴリズムを用いて、模擬ブラシを微調整し、ロボットアーム制御のためのスタイリングされた軌道を生成する。
シミュレーションおよび物理ロボットシナリオの評価では,未知の文字の完全性を保ちながら,未知のフォントやスタイルの再現に成功していることが明らかとなった。
関連論文リスト
- Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳（メタデータ） (2024-07-22T06:12:21Z) - Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。
SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。
本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文 参考訳（メタデータ） (2024-04-08T15:22:38Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - End-to-end Manipulator Calligraphy Planning via Variational Imitation
Learning [0.0]
デモからの計画は、ディープニューラルネットワークの進歩によって有望な結果を示している。
最も人気のある実世界の応用の1つは、ロボットマニピュレータを使った手書きの自動化である。
本稿では、画像とポーズデータを組み合わせて専門家によるデモンストレーションから学習する、新しい擬似学習ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-04-06T00:34:15Z) - Being Comes from Not-being: Open-vocabulary Text-to-Motion Generation
with Wordless Training [178.09150600453205]
本稿では、ゼロショット学習方式でオフラインのオープン語彙テキスト・トゥ・モーション生成について検討する。
NLPの即時学習にインスパイアされ、マスクされた動きから全動作を再構築する動き生成装置を事前訓練する。
本手法では,入力テキストをマスクした動作に再構成することで,動作生成者の動作を再構築する。
論文 参考訳（メタデータ） (2022-10-28T06:20:55Z) - Signs of Language: Embodied Sign Language Fingerspelling Acquisition
from Demonstrations for Human-Robot Interaction [1.0166477175169308]
本稿では,ビデオ例からデキスタスモータの模倣を学習する手法を提案する。
まず,関節に1つのアクチュエータを備えたロボットハンドのURDFモデルを構築した。
トレーニング済みのディープビジョンモデルを利用して、RGBビデオから手の3Dポーズを抽出する。
論文 参考訳（メタデータ） (2022-09-12T10:42:26Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳（メタデータ） (2022-05-09T04:23:36Z) - Few Shots Is All You Need: A Progressive Few Shot Learning Approach for
Low Resource Handwriting Recognition [1.7491858164568674]
本稿では,人的労働力のアノテーション処理を大幅に削減する,数ショットの学習に基づく手書き文字認識手法を提案する。
我々のモデルは、テキストライン画像中の与えられたアルファベットのすべてのシンボルを検出し、デコードステップは、シンボル類似性のスコアを転写されたシンボルの最終シーケンスにマッピングする。
このリトレーニングには,数千の手書き記号と境界ボックスのアノテーションが必要であるため,教師なしのプログレッシブ・ラーニング・アプローチによる人的作業を回避することを提案する。
論文 参考訳（メタデータ） (2021-07-21T13:18:21Z) - SmartPatch: Improving Handwritten Word Imitation with Patch
Discriminators [67.54204685189255]
本稿では,現在の最先端手法の性能を向上させる新手法であるSmartPatchを提案する。
我々は、よく知られたパッチ損失と、平行訓練された手書きテキスト認識システムから収集された情報を組み合わせる。
これにより、より強化された局所識別器が実現し、より現実的で高品質な手書き文字が生成される。
論文 参考訳（メタデータ） (2021-05-21T18:34:21Z) - Pay Attention to What You Read: Non-recurrent Handwritten Text-Line
Recognition [4.301658883577544]
変換器モデルを用いて手書きテキストを認識する非反復的手法を提案する。
我々は文字認識に取り組み、復号化すべき文字列の言語関連依存関係を学習することができる。
論文 参考訳（メタデータ） (2020-05-26T21:15:20Z) - Robot Calligraphy using Pseudospectral Optimal Control in Conjunction
with a Novel Dynamic Brush Model [25.134141792507318]
書跡記述問題を軌跡最適化問題として定式化し、実際の筆跡処理のための改良された仮想筆モデルを提案する。
我々のアプローチは、各ストロークの軌跡をチェビシェフ擬アクチュエータとしてパラメータ化するという、スペクトル最適制御にインスパイアされている。
提案手法は, キャラクタの描画において優れた性能を示し, 従来の作業よりもはるかに効率的に行う。
論文 参考訳（メタデータ） (2020-03-02T18:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。