論文の概要: Jigsaw: Supporting Designers in Prototyping Multimodal Applications by Assembling AI Foundation Models

• arxiv url: http://arxiv.org/abs/2310.08574v1
• Date: Thu, 12 Oct 2023 17:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 08:12:40.088988
• Title: Jigsaw: Supporting Designers in Prototyping Multimodal Applications by Assembling AI Foundation Models
• Title（参考訳）: jigsaw: ai foundationモデルの組み立てによるマルチモーダルアプリケーションのプロトタイプ作成支援
• Authors: David Chuan-En Lin, Nikolas Martelaro
• Abstract要約: Jigsawは、基礎モデルを表現するメタファーとしてパズルピースを使用するプロトタイプシステムである。 設計者は、互換性のあるパズルを組み立てることで、様々なモダリティで異なる基礎モデル機能を組み合わせることができる。
• 参考スコア（独自算出の注目度）: 5.239589676872304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in AI foundation models have made it possible for them to be utilized off-the-shelf for creative tasks, including ideating design concepts or generating visual prototypes. However, integrating these models into the creative process can be challenging as they often exist as standalone applications tailored to specific tasks. To address this challenge, we introduce Jigsaw, a prototype system that employs puzzle pieces as metaphors to represent foundation models. Jigsaw allows designers to combine different foundation model capabilities across various modalities by assembling compatible puzzle pieces. To inform the design of Jigsaw, we interviewed ten designers and distilled design goals. In a user study, we showed that Jigsaw enhanced designers' understanding of available foundation model capabilities, provided guidance on combining capabilities across different modalities and tasks, and served as a canvas to support design exploration, prototyping, and documentation.
• Abstract（参考訳）: aiファウンデーションモデルの最近の進歩により、デザインコンセプトの考案やビジュアルプロトタイプの作成など、既製の創造的なタスクに使用できるようになりました。 しかし、これらのモデルを創造的なプロセスに統合することは、特定のタスクに適したスタンドアロンアプリケーションとしてしばしば存在するため、難しい。 この課題に対処するため,基礎モデルを表現するメタファーとしてパズルピースを用いたプロトタイプシステムであるJigsawを紹介した。 Jigsawは、互換性のあるパズルを組み立てることで、さまざまなモダリティでさまざまな基礎モデル機能を組み合わせることができる。 Jigsawの設計を知らせるために、私たちは10人のデザイナと設計目標についてインタビューしました。 ユーザスタディでは、Jigsawが利用可能な基盤モデル機能に対するデザイナの理解を強化し、さまざまなモダリティやタスクにまたがる機能の組み合わせに関するガイダンスを提供し、デザイン探索、プロトタイピング、ドキュメンテーションをサポートするキャンバスとして機能することを示しました。

関連論文リスト

• Bridging Design Gaps: A Parametric Data Completion Approach With Graph Guided Diffusion Models [9.900586490845694]
  本研究では, グラフ注意ネットワークと表層拡散モデルを利用して, 工学設計におけるパラメトリックデータの欠落を解消する生成的計算モデルを提案する。 提案手法は従来の手法,例えばMissForest, HotDeck, PPCA, TabCSDI よりも精度と多様性に優れていた。 グラフモデルは、設計問題の鍵となるアセンブリグラフから複雑なパラメトリック相互依存性を正確にキャプチャし、インプットするのに役立つ。
  論文  参考訳（メタデータ） (2024-06-17T16:03:17Z)
• Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
  グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。 レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。 本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
  論文  参考訳（メタデータ） (2024-04-23T17:58:33Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey [59.95153883166705]
  従来のコンピュータビジョンは、モデルアーキテクチャで暗黙的に設計されたタスク命令を持つ専用モデルによって、個々のタスクを独立して解決する。 近年,視覚インストラクション・チューニング (VIT) の研究が盛んに行われている。 本研究の目的は,(1)コンピュータビジョンタスクのパラダイムとVIT開発を提示する背景,(2)一般的に使用されるネットワークアーキテクチャ,視覚的命令チューニングフレームワークと目的を導入したVITの基礎,および,設定とタスクの評価,(3)視覚的命令チューニングと評価において一般的に使用されるデータセットの体系的レビューを提供することである。
  論文  参考訳（メタデータ） (2023-12-27T14:54:37Z)
• DesignGPT: Multi-Agent Collaboration in Design [4.6272626111555955]
  DesignGPTは人工知能エージェントを使用して、デザイン会社におけるさまざまなポジションの役割をシミュレートし、人間のデザイナーが自然言語で協力できるようにする。 実験の結果、DesignGPTはAIツールを別々に比較すると、デザイナのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-11-20T08:05:52Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
  グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。 しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。 ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
  論文  参考訳（メタデータ） (2022-12-19T21:57:35Z)
• AI Art in Architecture [0.6853165736531939]
  最近の拡散ベースのAIアートプラットフォームは、単純なテキスト記述から印象的なイメージを作成することができる。 これはアーキテクチャ設計の初期段階にも当てはまり、アイデア、スケッチ、モデリングの段階が複数ある。 アーキテクチャ設計における一連の一般的なユースケースに対して,Midjourney,DALL-E 2,StableDiffusionの各プラットフォームの適用性について検討する。
  論文  参考訳（メタデータ） (2022-12-19T12:24:14Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis [1.933681537640272]
  本論文では,新しいデザインを作成するための自動手法であるCreativeGANを提案する。 デザインをユニークなものにするコンポーネントを識別し、GANモデルを変更することで、識別されたユニークなコンポーネントでデザインを生成する可能性が高まる。 自転車デザインのデータセットを用いて,ユニークなフレームとハンドル,および幅広いデザインの珍しいノベルティを備えた新しい自転車デザインを作成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-10T18:22:35Z)
• Designing Machine Learning Toolboxes: Concepts, Principles and Patterns [0.0]
  AIモデリングツールボックスの設計における重要なパターンについて概説する。 我々の分析では、既存のツールボックスの設計だけでなく、新しいツールボックスの開発も説明できます。
  論文  参考訳（メタデータ） (2021-01-13T08:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。