論文の概要: SketcherX: AI-Driven Interactive Robotic drawing with Diffusion model and Vectorization Techniques
- arxiv url: http://arxiv.org/abs/2409.15292v1
- Date: Wed, 4 Sep 2024 02:20:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 20:05:48.857652
- Title: SketcherX: AI-Driven Interactive Robotic drawing with Diffusion model and Vectorization Techniques
- Title（参考訳）: SketcherX: 拡散モデルとベクトル化技術を用いたAI駆動型インタラクティブロボット描画
- Authors: Jookyung Song, Mookyoung Kang, Nojun Kwak,
- Abstract要約: SketcherXは、対話型人間ロボットエンゲージメントによる人物像のパーソナライズのための新しいロボットシステムである。
アナログ印刷技術に頼っている従来のロボットアートシステムとは異なり、SketcherXは顔画像をキャプチャして処理し、独特な人間のような芸術スタイルでベクター化された描画を生成する。
- 参考スコア（独自算出の注目度）: 26.240518216121487
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce SketcherX, a novel robotic system for personalized portrait drawing through interactive human-robot engagement. Unlike traditional robotic art systems that rely on analog printing techniques, SketcherX captures and processes facial images to produce vectorized drawings in a distinctive, human-like artistic style. The system comprises two 6-axis robotic arms : a face robot, which is equipped with a head-mounted camera and Large Language Model (LLM) for real-time interaction, and a drawing robot, utilizing a fine-tuned Stable Diffusion model, ControlNet, and Vision-Language models for dynamic, stylized drawing. Our contributions include the development of a custom Vector Low Rank Adaptation model (LoRA), enabling seamless adaptation to various artistic styles, and integrating a pair-wise fine-tuning approach to enhance stroke quality and stylistic accuracy. Experimental results demonstrate the system's ability to produce high-quality, personalized portraits within two minutes, highlighting its potential as a new paradigm in robotic creativity. This work advances the field of robotic art by positioning robots as active participants in the creative process, paving the way for future explorations in interactive, human-robot artistic collaboration.
- Abstract（参考訳）: SketcherXは、対話型人間ロボットエンゲージメントによる人物像のパーソナライズのための新しいロボットシステムである。
アナログ印刷技術に頼っている従来のロボットアートシステムとは異なり、SketcherXは顔画像をキャプチャして処理し、独特な人間のような芸術スタイルでベクター化された描画を生成する。
本システムは、6軸ロボットアームと、リアルタイムインタラクションのためのヘッドマウントカメラとLarge Language Model(LLM)を備えた顔ロボットと、動的でスタイリングされた描画のための微調整された安定拡散モデル、制御ネット、ビジョンランゲージモデルを利用する描画ロボットとからなる。
我々の貢献には、カスタムベクター低ランク適応モデル(LoRA)の開発、様々な芸術スタイルへのシームレスな適応、ストローク品質とスタイリスティックな精度を高めるためのペアワイズ微調整アプローチの統合などが含まれます。
実験の結果、2分以内に高品質でパーソナライズされた肖像画を制作できることが示され、ロボットの創造性の新しいパラダイムとしての可能性を強調した。
この研究は、ロボットを創造プロセスの活発な参加者として位置づけ、対話的で人間とロボットの芸術的コラボレーションにおける将来の探索の道を開くことによって、ロボット芸術の分野を前進させる。
関連論文リスト
- Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。
画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Unifying 3D Representation and Control of Diverse Robots with a Single Camera [48.279199537720714]
我々は,ロボットを視覚のみからモデル化し,制御することを自律的に学習するアーキテクチャであるNeural Jacobian Fieldsを紹介する。
提案手法は,正確なクローズドループ制御を実現し,各ロボットの因果動的構造を復元する。
論文 参考訳（メタデータ） (2024-07-11T17:55:49Z) - LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。
我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。
実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
論文 参考訳（メタデータ） (2024-06-17T17:55:29Z) - Choreographing the Digital Canvas: A Machine Learning Approach to Artistic Performance [9.218587190403174]
本稿では,属性記述に基づく芸術演奏のためのデザインツールについて紹介する。
このプラットフォームは、新しい機械学習(ML)モデルとインタラクティブインターフェースを統合して、芸術的な動きを生成、視覚化する。
論文 参考訳（メタデータ） (2024-03-26T01:42:13Z) - Towards Embedding Dynamic Personas in Interactive Robots: Masquerading Animated Social Kinematics (MASK) [10.351714893090964]
本稿では,キャラクターライクなペルソナを用いたユーザエンゲージメントを高める革新的な対話型ロボットシステムの設計と開発について述べる。
ペルソナ駆動のダイアログエージェントの基礎の上に構築されたこの研究は、エージェントを物理的な領域に拡張し、ロボットを使ってより魅了的で対話的な体験を提供する。
論文 参考訳（メタデータ） (2024-03-15T06:22:32Z) - Learning Orbitally Stable Systems for Diagrammatically Teaching [14.839036866911089]
ダイアグラム教育はロボットが新しいスキルを身につけるためのパラダイムであり、ユーザーはロボットの動きを形作るシーンの画像に2Dスケッチを提供する。
本研究では,ロボットに表面への接近を指示し,その上でサイクリック動作を追従する問題に取り組む。ロボットのカメラからの画像に対して,ユーザが提供する1つのスケッチによって,動きのサイクルを任意に指定することができる。
論文 参考訳（メタデータ） (2023-09-19T04:03:42Z) - Pathway to Future Symbiotic Creativity [76.20798455931603]
そこで本研究では, 5クラス階層の創造システムを分類し, 擬人アーティストから機械アーティストへの創造の道筋を示す。
芸術創造においては、機械は欲求、感謝、感情を含む人間の精神状態を理解する必要があるが、機械の創造的能力と限界も理解する必要がある。
我々は、人間互換のAIシステムが「ループ内人間」の原理に基づいているべきだという哲学を取り入れた、未来のマシンアーティストを構築するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-18T15:12:02Z) - Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。
コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
論文 参考訳（メタデータ） (2021-03-18T15:12:06Z) - Making Robots Draw A Vivid Portrait In Two Minutes [11.148458054454407]
本稿では,顔画像を自動的に鮮明な肖像画に転送し,平均2分以内に紙に描画する描画ロボットを提案する。
我々のシステムの中心は、ディープラーニングに基づく新しい肖像画合成アルゴリズムである。
ポートレート・ドローイング・ロボット・システムはAiSketcherと名付けられた。
論文 参考訳（メタデータ） (2020-05-12T03:02:24Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳（メタデータ） (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。