論文の概要: JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents
- arxiv url: http://arxiv.org/abs/2607.23588v1
- Date: Sun, 26 Jul 2026 10:36:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.165105
- Title: JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents
- Title（参考訳）: JarvisHub: Canvas-Native Multimodal Creative Agentsのオープンなハーネス
- Abstract要約: JarvisHubは、長距離マルチモーダル作成のためのキャンバスネイティブなクリエイティブエージェントハーネスである。
型付きキャンバスノードとリンクとして、マルチモーダルなアーティファクト、依存関係、バージョン、フィードバックを表す。
このデザインは、創造的エージェントを孤立したツールの使用を超えて、持続的で人間の操作可能な創造的自動化へと移行させる。
- 参考スコア（独自算出の注目度）: 78.0127343695372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creative AI is moving from single-step asset generation toward long-horizon multimodal production. Although recent generative models can synthesize high-quality images, videos, audio clips, UI elements, storyboards, slides, and other creative assets, real-world creative work requires more than isolated prompt-output interactions. It involves references, drafts, alternatives, edits, failed attempts, version relations, tool actions, evaluation signals, and human feedback, which together form an evolving project state. Existing prompt-based, chat-based, and node-based generation systems only partially support this state, as they often discard intermediate context, rely on linear conversations, or require manually specified workflows. Recent commercial systems indicate a shift toward agent-assisted creative production, but their closed architectures make it difficult to study how agents represent context, choose tools, revise artifacts, recover from failures, and maintain consistency over time. To address this gap, we introduce JarvisHub, a canvas-native creative agent harness for long-horizon multimodal creation. JarvisHub treats an editable canvas as the user workspace, the agent's external memory, action space, and shared project state, representing multimodal artifacts, dependencies, versions, and feedback as typed canvas nodes and links. Through a three-layer architecture of canvas state, protocol bridge, and agent runtime, JarvisHub enables agents to act within an inspectable and editable creative state. This design moves creative agents beyond isolated tool use toward sustained, human-steerable creative automation, where agents can progressively plan, generate, revise, and organize multimodal projects while users remain able to inspect, guide, and intervene throughout the process.
- Abstract（参考訳）: Creative AIは、単一ステップのアセット生成から、長期のマルチモーダル生産へと移行している。
最近の生成モデルは、高品質な画像、ビデオ、オーディオクリップ、UI要素、ストーリーボード、スライド、その他のクリエイティブな資産を合成することができるが、現実の創造的な作業には、孤立した即時出力の相互作用以上のものが必要である。
参照、ドラフト、代替案、編集、失敗した試み、バージョンリレーション、ツールアクション、評価信号、人間のフィードバックなどが含まれます。
既存のプロンプトベース、チャットベース、ノードベースの生成システムは、中間的コンテキストを破棄したり、線形会話に依存したり、手動で指定したワークフローを必要とするため、部分的にしかこの状態をサポートしない。
最近の商業システムでは,エージェント支援による創造的生産へのシフトを示しているが,そのクローズドアーキテクチャは,エージェントがコンテキストをどのように表現するか,ツールの選択,アーティファクトの修正,障害からの回復,時間の経過とともに一貫性の維持を困難にしている。
このギャップに対処するために、長い水平多重モード作成のためのキャンバスネイティブなクリエイティブエージェントハーネスであるJarvisHubを紹介します。
JarvisHubは、編集可能なキャンバスをユーザワークスペース、エージェントの外部メモリ、アクションスペース、共有プロジェクト状態として扱い、マルチモーダルなアーティファクト、依存関係、バージョン、フィードバックを型付きキャンバスノードとリンクとして表現する。
キャンバス状態、プロトコルブリッジ、エージェントランタイムの3層アーキテクチャを通じて、JarvisHubはエージェントが検査可能で編集可能なクリエイティブな状態内で動作できるようにする。
このデザインは、創造的エージェントが独立したツールの使用を超えて、持続的で人間の操作可能な創造的自動化へと移行し、エージェントは、プロセス全体を通して検査、ガイド、介入を継続しながら、段階的に複数のモーダルプロジェクトを計画、生成、修正、組織化することができる。
関連論文リスト
- FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。
Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。
アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。
FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
論文 参考訳（メタデータ） (2026-08-30T14:28:50Z) - CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration [11.992882604393003]
CanvasCraftは、複雑な画像の作成と編集のための大規模マルチモーダル・ツール・データセットである。
また,マルチターンインタラクションによる異種視覚ツールのオーケストレーションを学習するマルチモーダルエージェントCanvasAgentについても紹介する。
論文 参考訳（メタデータ） (2026-07-06T04:57:18Z) - CutVerse: A Compositional GUI Agents Benchmark for Media Post-Production Editing [30.62336565964961]
Cutverseは、現実的なメディアポストプロダクション環境で自律的なGUIエージェントを評価するために設計されたベンチマークである。
7つのプロフェッショナルアプリケーション(例:Premiere Pro、Photoshop)にまたがる専門家によるデモをキュレートします。
論文 参考訳（メタデータ） (2026-05-19T07:35:22Z) - A Versatile Multimodal Agent for Multimedia Content Generation [66.86040734610073]
複雑なコンテンツ作成タスクの自動化を目的としたMultiMedia-Agentを提案する。
エージェントシステムには、データ生成パイプライン、コンテンツ作成のためのツールライブラリ、嗜好アライメントを評価するためのメトリクスセットが含まれている。
論文 参考訳（メタデータ） (2026-01-06T18:49:47Z) - Doc To The Future: Infomorphs for Interactive, Multimodal Document Transformation and Generation [4.665470854146965]
我々は、制御された合成をサポートし、形式やモダリティをまたいだ情報の再構成を行うモジュール型、ユーザステアブル、AI強化された変換である「インフォモルフ」の概念を導入する。
本稿では,ユーザ意図と所望の情報コンテキストを組み合わせ,インフォモーフィック駆動型文書作成を実現する設計空間を提案する。
DocuCraftは、ページ抽出、コンテンツ要約、再フォーマット、生成といった操作を実行するインフォモーフィックをチェーンして、各ステージで生成AIを活用して、リッチでクロスドキュメント、クロスモーダルな変換をサポートする。
論文 参考訳（メタデータ） (2025-12-14T16:25:19Z) - UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist [107.04196084992907]
次世代ビデオジェネラリストのためのオールニ対応マルチエージェントフレームワークUniVAを紹介する。
UniVAはPlan-and-Actのデュアルエージェントアーキテクチャを採用しており、高度に自動化されプロアクティブなワークフローを駆動している。
また、理解、編集、セグメンテーション、生成にまたがるマルチステップビデオタスクのベンチマークスイートUniVA-Benchについても紹介する。
論文 参考訳（メタデータ） (2025-11-11T17:58:13Z) - Hollywood Town: Long-Video Generation via Cross-Modal Multi-Agent Orchestration [73.65102758687289]
本研究は,マルチエージェントコラボレーションを改善するための3つのイノベーションを紹介する。
まず、長いビデオ生成のための階層型グラフベースのマルチエージェントフレームワークであるOmniAgentを提案する。
第2に,文脈工学にヒントを得たハイパーグラフノードを提案する。
論文 参考訳（メタデータ） (2025-10-25T20:34:18Z) - ScreenCoder: Advancing Visual-to-Code Generation for Front-End Automation via Modular Multimodal Agents [40.697759330690815]
ScreenCoderはモジュール型のマルチエージェントフレームワークで、タスクを3つの解釈可能なステージ(グラウンド、プランニング、生成)に分解する。
特殊エージェントにこれらの異なる責任を割り当てることで、我々のフレームワークはエンド・ツー・エンドのアプローチよりもはるかに高い堅牢性と忠実性を達成する。
提案手法は, レイアウト精度, 構造コヒーレンス, コード正確性において, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T16:41:21Z) - CreatiPoster: Towards Editable and Controllable Multi-Layer Graphic Design Generation [13.354283356097563]
CreatiPosterは、任意の自然言語命令やアセットから編集可能な多層合成を生成するフレームワークである。
さらなる研究のために、我々は10万の多層設計の著作権フリーコーパスをリリースする。
論文 参考訳（メタデータ） (2025-06-12T16:54:39Z) - OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization [66.22117723598872]
マルチモーダルWebエージェントの開発を容易にするために設計されたオープンソースフレームワークを紹介する。
まず、基本モデルを模倣学習で訓練し、基礎能力を得る。
次に、エージェントにオープンウェブを探索させ、その軌道に関するフィードバックを収集する。
論文 参考訳（メタデータ） (2024-10-25T15:01:27Z) - Generative Agents: Interactive Simulacra of Human Behavior [86.1026716646289]
生成エージェントを導入し,人間の振る舞いをシミュレートする計算ソフトウェアエージェントについて紹介する。
エージェントの経験の完全な記録を格納するために,大規模言語モデルを拡張するアーキテクチャについて述べる。
The Simsにインスパイアされた対話型サンドボックス環境に生成エージェントを投入する。
論文 参考訳（メタデータ） (2023-04-07T01:55:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。