論文の概要: Jigsaw: Supporting Designers in Prototyping Multimodal Applications by
Assembling AI Foundation Models
- arxiv url: http://arxiv.org/abs/2310.08574v1
- Date: Thu, 12 Oct 2023 17:57:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 08:12:40.088988
- Title: Jigsaw: Supporting Designers in Prototyping Multimodal Applications by
Assembling AI Foundation Models
- Title(参考訳): jigsaw: ai foundationモデルの組み立てによるマルチモーダルアプリケーションのプロトタイプ作成支援
- Authors: David Chuan-En Lin, Nikolas Martelaro
- Abstract要約: Jigsawは、基礎モデルを表現するメタファーとしてパズルピースを使用するプロトタイプシステムである。
設計者は、互換性のあるパズルを組み立てることで、様々なモダリティで異なる基礎モデル機能を組み合わせることができる。
- 参考スコア(独自算出の注目度): 5.239589676872304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in AI foundation models have made it possible for them to
be utilized off-the-shelf for creative tasks, including ideating design
concepts or generating visual prototypes. However, integrating these models
into the creative process can be challenging as they often exist as standalone
applications tailored to specific tasks. To address this challenge, we
introduce Jigsaw, a prototype system that employs puzzle pieces as metaphors to
represent foundation models. Jigsaw allows designers to combine different
foundation model capabilities across various modalities by assembling
compatible puzzle pieces. To inform the design of Jigsaw, we interviewed ten
designers and distilled design goals. In a user study, we showed that Jigsaw
enhanced designers' understanding of available foundation model capabilities,
provided guidance on combining capabilities across different modalities and
tasks, and served as a canvas to support design exploration, prototyping, and
documentation.
- Abstract(参考訳): aiファウンデーションモデルの最近の進歩により、デザインコンセプトの考案やビジュアルプロトタイプの作成など、既製の創造的なタスクに使用できるようになりました。
しかし、これらのモデルを創造的なプロセスに統合することは、特定のタスクに適したスタンドアロンアプリケーションとしてしばしば存在するため、難しい。
この課題に対処するため,基礎モデルを表現するメタファーとしてパズルピースを用いたプロトタイプシステムであるJigsawを紹介した。
Jigsawは、互換性のあるパズルを組み立てることで、さまざまなモダリティでさまざまな基礎モデル機能を組み合わせることができる。
Jigsawの設計を知らせるために、私たちは10人のデザイナと設計目標についてインタビューしました。
ユーザスタディでは、Jigsawが利用可能な基盤モデル機能に対するデザイナの理解を強化し、さまざまなモダリティやタスクにまたがる機能の組み合わせに関するガイダンスを提供し、デザイン探索、プロトタイピング、ドキュメンテーションをサポートするキャンバスとして機能することを示しました。
関連論文リスト
- Geometric Deep Learning for Computer-Aided Design: A Survey [85.79012726689511]
本調査では,コンピュータ支援設計における学習手法の概要について概観する。
類似性解析と検索、2Dおよび3DCADモデル合成、点雲からのCAD生成を含む。
ベンチマークデータセットとその特性の完全なリストと、この領域の研究を推進しているオープンソースコードを提供する。
論文 参考訳(メタデータ) (2024-02-27T17:11:35Z) - Delving into Multi-modal Multi-task Foundation Models for Road Scene
Understanding: From Learning Paradigm Perspectives [57.3734614555802]
本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。
本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。
我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
論文 参考訳(メタデータ) (2024-02-05T12:47:09Z) - Compositional Generative Inverse Design [69.22782875567547]
入力変数を設計して目的関数を最適化する逆設計は重要な問題である。
拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。
N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
論文 参考訳(メタデータ) (2024-01-24T01:33:39Z) - Visual Instruction Tuning towards General-Purpose Multimodal Model: A
Survey [59.95153883166705]
従来のコンピュータビジョンは、モデルアーキテクチャで暗黙的に設計されたタスク命令を持つ専用モデルによって、個々のタスクを独立して解決する。
近年,視覚インストラクション・チューニング (VIT) の研究が盛んに行われている。
本研究の目的は,(1)コンピュータビジョンタスクのパラダイムとVIT開発を提示する背景,(2)一般的に使用されるネットワークアーキテクチャ,視覚的命令チューニングフレームワークと目的を導入したVITの基礎,および,設定とタスクの評価,(3)視覚的命令チューニングと評価において一般的に使用されるデータセットの体系的レビューを提供することである。
論文 参考訳(メタデータ) (2023-12-27T14:54:37Z) - COLE: A Hierarchical Generation Framework for Graphic Design [40.09673158568953]
15世紀から進化してきたグラフィックデザインは、広告において重要な役割を担っている。
本稿では,これらの課題を包括的に解決するために設計された階層型生成フレームワークであるCOLEを紹介する。
COLEは、簡単な意図的なプロンプトを高品質なグラフィックデザインに変換すると同時に、ユーザ入力に基づいた柔軟な編集をサポートする。
論文 参考訳(メタデータ) (2023-11-28T17:22:17Z) - DesignGPT: Multi-Agent Collaboration in Design [4.6272626111555955]
DesignGPTは人工知能エージェントを使用して、デザイン会社におけるさまざまなポジションの役割をシミュレートし、人間のデザイナーが自然言語で協力できるようにする。
実験の結果、DesignGPTはAIツールを別々に比較すると、デザイナのパフォーマンスが向上することがわかった。
論文 参考訳(メタデータ) (2023-11-20T08:05:52Z) - ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model
Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。
ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文 参考訳(メタデータ) (2023-08-17T19:12:13Z) - Evaluation of Sketch-Based and Semantic-Based Modalities for Mockup
Generation [15.838427479984926]
デザインモックアップ(Design mockup)は、デザインのアイデアを視覚化し、テストするために欠かせない道具である。
手描きスケッチに基づいてモックアップを生成するための2つの異なるモックアップを提示・評価する。
その結果,スケッチベースの生成の方が直感的かつ表現的であり,セマンティックベースの生成AIは質と忠実度でより良い結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-03-22T16:47:36Z) - LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [81.5482196644596]
グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。
しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。
ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
論文 参考訳(メタデータ) (2022-12-19T21:57:35Z) - AI Art in Architecture [0.6853165736531939]
最近の拡散ベースのAIアートプラットフォームは、単純なテキスト記述から印象的なイメージを作成することができる。
これはアーキテクチャ設計の初期段階にも当てはまり、アイデア、スケッチ、モデリングの段階が複数ある。
アーキテクチャ設計における一連の一般的なユースケースに対して,Midjourney,DALL-E 2,StableDiffusionの各プラットフォームの適用性について検討する。
論文 参考訳(メタデータ) (2022-12-19T12:24:14Z) - Designing Machine Learning Toolboxes: Concepts, Principles and Patterns [0.0]
AIモデリングツールボックスの設計における重要なパターンについて概説する。
我々の分析では、既存のツールボックスの設計だけでなく、新しいツールボックスの開発も説明できます。
論文 参考訳(メタデータ) (2021-01-13T08:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。