論文の概要: Spellburst: A Node-based Interface for Exploratory Creative Coding with
Natural Language Prompts
- arxiv url: http://arxiv.org/abs/2308.03921v1
- Date: Mon, 7 Aug 2023 21:54:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-20 16:46:09.276976
- Title: Spellburst: A Node-based Interface for Exploratory Creative Coding with
Natural Language Prompts
- Title(参考訳): Spellburst: 自然言語による探索的創造的コーディングのためのノードベースのインターフェース
- Authors: Tyler Angert, Miroslav Ivan Suzara, Jenny Han, Christopher Lawrence
Pondoc, Hariharan Subramonyam
- Abstract要約: Spellburstは、LLM(Big Language Model)を利用したクリエイティブコーディング環境である。
Spellburstは、アーティストが生成アートを作成し、分岐とマージ操作を通じてバリエーションを探索することを可能にする。
- 参考スコア(独自算出の注目度): 7.074738009603178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creative coding tasks are often exploratory in nature. When producing digital
artwork, artists usually begin with a high-level semantic construct such as a
"stained glass filter" and programmatically implement it by varying code
parameters such as shape, color, lines, and opacity to produce visually
appealing results. Based on interviews with artists, it can be effortful to
translate semantic constructs to program syntax, and current programming tools
don't lend well to rapid creative exploration. To address these challenges, we
introduce Spellburst, a large language model (LLM) powered creative-coding
environment. Spellburst provides (1) a node-based interface that allows artists
to create generative art and explore variations through branching and merging
operations, (2) expressive prompt-based interactions to engage in semantic
programming, and (3) dynamic prompt-driven interfaces and direct code editing
to seamlessly switch between semantic and syntactic exploration. Our evaluation
with artists demonstrates Spellburst's potential to enhance creative coding
practices and inform the design of computational creativity tools that bridge
semantic and syntactic spaces.
- Abstract(参考訳): 創造的なコーディングタスクは自然界でしばしば探索的です。
デジタルアートワークを制作する場合、アーティストは通常「ステンドグラスフィルター」のような高レベルの意味構造から始め、形状、色、線、不透明といった様々なコードパラメータをプログラムで実装し、視覚的に魅力的な結果を生み出す。
アーティストとのインタビューに基づいて、セマンティックコンストラクトをプログラム構文に変換することは困難であり、現在のプログラミングツールは、迅速な創造的な探索には役に立たない。
これらの課題に対処するために,大規模言語モデル(LLM)を利用したクリエイティブコーディング環境であるSpellburstを紹介した。
spellburstは(1)アーティストが生成的なアートを作成し、分岐とマージ操作を通じてバリエーションを探索できるノードベースのインターフェース、(2)表現力のあるプロンプトベースのインタラクションによるセマンティックプログラミング、(3)動的プロンプト駆動インターフェースと直接コード編集により、意味と構文の探索をシームレスに切り替えることができる。
アーティストによる我々の評価は、Spellburstが創造的なコーディングプラクティスを強化する可能性を示し、セマンティック空間と構文空間を橋渡しする計算創造ツールの設計を通知する。
関連論文リスト
- Exploring the Potential of Large Language Models in Artistic Creation:
Collaboration and Reflection on Creative Programming [10.57792673254363]
プログラム全体を呼び出し、複数のサブタスクを発行する、という2つの一般的なコラボレーションアプローチを比較します。
本研究は,アーティストの異なる刺激反射を2つの異なる方法で示すものである。
創造的コーディングにおけるLLMの芸術的可能性を明らかにする。
論文 参考訳(メタデータ) (2024-02-15T07:00:06Z) - CreativeSynth: Creative Blending and Synthesis of Visual Arts based on
Multimodal Diffusion [74.44273919041912]
大規模なテキスト・画像生成モデルは印象的な進歩を遂げ、高品質な画像を合成する能力を示している。
しかし、これらのモデルを芸術的な画像編集に適用することは、2つの重要な課題を提起する。
我々は,マルチモーダル入力をコーディネートする拡散モデルに基づく,革新的な統一フレームワークCreative Synthを構築した。
論文 参考訳(メタデータ) (2024-01-25T10:42:09Z) - DrawTalking: Building Interactive Worlds by Sketching and Speaking [20.836365837419873]
我々はDrawTalkingを紹介した。DrawTalkingは、ユーザがスケッチや講演によってインタラクティブな世界を構築することを可能にするための、プロトタイプシステムである。
このアプローチはユーザコントロールと柔軟性を強調し、コードを必要としないプログラミングのような機能を提供する。
論文 参考訳(メタデータ) (2024-01-11T03:02:17Z) - Creative Agents: Empowering Agents with Imagination for Creative Tasks [31.920963353890393]
本稿では,言語命令に基づくタスク結果の詳細な想像力を生成するイマジネータを用いて,制御器を拡張したクリエイティブエージェントのためのソリューションのクラスを提案する。
私たちは創造的なタスクを、オープンワールドの挑戦的なゲームMinecraftでベンチマークします。
我々は、創造的エージェントの詳細な実験分析を行い、創造的エージェントがMinecraftの生存モードにおける多様な建築創造を達成する最初のAIエージェントであることを示した。
論文 参考訳(メタデータ) (2023-12-05T06:00:52Z) - SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。
我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
論文 参考訳(メタデータ) (2023-08-27T19:44:44Z) - Structure-Guided Image Completion with Image-level and Object-level
Semantic Discriminators [118.6132221271663]
複雑な意味論やオブジェクトの生成を改善するために,セマンティック・ディミネータとオブジェクトレベル・ディミネータからなる学習パラダイムを提案する。
特に、セマンティック・ディミネーターは、事前学習された視覚的特徴を利用して、生成された視覚概念の現実性を改善する。
提案手法は, 生成品質を著しく向上させ, 各種タスクの最先端化を実現する。
論文 参考訳(メタデータ) (2022-12-13T01:36:56Z) - A Taxonomy of Prompt Modifiers for Text-To-Image Generation [6.903929927172919]
本稿では,3ヶ月のエスノグラフィー研究に基づいて,オンラインコミュニティの実践者が使用する6種類のプロンプト修飾剤を同定する。
プロンプト修飾子の新たな分類法は、テキスト・ツー・イメージ・ジェネレーションの実践を研究するための概念的な出発点となる。
本稿では,人間-コンピュータインタラクション分野における新しい創造的実践の機会について論じる。
論文 参考訳(メタデータ) (2022-04-20T06:15:50Z) - IR-GAN: Image Manipulation with Linguistic Instruction by Increment
Reasoning [110.7118381246156]
Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。
まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。
第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
論文 参考訳(メタデータ) (2022-04-02T07:48:39Z) - DoodleFormer: Creative Sketch Drawing with Transformers [68.18953603715514]
創造的スケッチ(Creative sketching)またはドゥーリング(Duodling)は、日常の視覚的物体の想像的かつ以前は目に見えない描写が描かれた表現的活動である。
本稿では,クリエイティビティスケッチ生成問題を粗いスケッチ合成に分解する,粗い2段階のフレームワークDoodleFormerを提案する。
生成した創作スケッチの多様性を確保するため,確率論的粗いスケッチデコーダを導入する。
論文 参考訳(メタデータ) (2021-12-06T18:59:59Z) - Generating Music and Generative Art from Brain activity [0.0]
本研究は,脳-コンピュータインタフェース(BCI)を用いた生成アート作成のための計算システムを提案する。
生成されたアートワークは、脳信号と幾何学、色、空間的位置の概念を使って、自律的な構築に複雑さを与えます。
論文 参考訳(メタデータ) (2021-08-09T19:33:45Z) - Explaining Creative Artifacts [69.86890599471202]
生成物と構成的創造性を結合鎖に分解する逆問題定式化を開発する。
特に、当社の定式化は、アソシエイト要素の知識グラフを通じて、旅行セールスマン問題の解決として構成されている。
論文 参考訳(メタデータ) (2020-10-14T14:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。