論文の概要: ScaffoldM3C: A Multimodal Sequential Monte Carlo Framework for Generative Stable Construction Planning
- arxiv url: http://arxiv.org/abs/2610.00487v1
- Date: Wed, 30 Sep 2026 18:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.677914
- Title: ScaffoldM3C: A Multimodal Sequential Monte Carlo Framework for Generative Stable Construction Planning
- Title（参考訳）: ScaffoldM3C: 生成安定構築のためのマルチモーダルシーケンスモンテカルロフレームワーク
- Abstract要約: 安定なブロックベース構築のための軽量自動回帰モデルであるScaffold Multimodal Monte Carlo (ScaffoldM3C)を提案する。
イメージコンディショニングプロンプトと足場安定化ビルドシーケンスを含むようにStableText2Brickデータセットを拡張して、マルチモーダルアーキテクチャをトレーニングします。
ScaffoldM3Cは、競合するベースラインよりも4倍小さく、推論中に5倍から20倍のスピードアップを実現し、最先端の手法に匹敵する建設品質を実現している。
- 参考スコア（独自算出の注目度）: 15.748830190905599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomously constructing physically realizable 3D structures remains a significant challenge due to combinatorial action spaces, interchangeable components, equifinal assembly sequences, and strict stability requirements during construction. State-of-the-art methods fine-tune large language models for text-based generative construction. However, these approaches do not allow for Multimodal (text, image, sketch) conditioning, overlook the practical role of scaffolding for stabilizing intermediate structures, and suffer from slow inference speeds. Therefore, we formulate construction as a probabilistic next-block generation task with multiple potential assembly actions and multiple potential task conditioning modalities. Concurrently, we explicitly consider the utility of scaffolding by introducing an auxiliary scaffold block token. We present Scaffold Multimodal Monte Carlo (ScaffoldM3C), a multimodal, lightweight, auto-regressive model for stable block-based construction, that proposes a set of next-step candidate blocks. Leveraging these candidates, we utilize Sequential Monte Carlo (SMC) to maintain a population of possible assembly sequences, allowing us to consider multiple, potentially different, assembly directions simultaneously. We train our multimodal architecture by extending the StableText2Brick dataset to contain image conditioning prompts and scaffold-stabilized build sequences. ScaffoldM3C is 4x smaller than competing baselines, yielding a 5x to 20x speedup during inference, while achieving comparable construction quality to state-of-the-art methods and higher overall stability. We demonstrate the effectiveness of our approach through simulations and real-world robot assembly demonstrations.
- Abstract（参考訳）: 物理的に実現可能な3D構造を自律的に構築することは、組合せ的なアクション空間、交換可能なコンポーネント、均等なアセンブリシーケンス、建設中の厳密な安定性要求のために依然として重要な課題である。
State-of-the-art method fine-Tune large language model for text-based generative construction。
しかし、これらの手法はマルチモーダル(テキスト、画像、スケッチ)条件付けを許さず、中間構造を安定化するための足場化の実践的役割を見落とし、推論速度の遅さに悩まされている。
そこで我々は, 確率的次ブロック生成タスクとして構成を定式化し, 組立動作の多元化とタスク条件の多元化を図った。
同時に,補助的な足場ブロックトークンを導入することにより,足場化の有用性を明確に検討する。
安定なブロックベース構築のためのマルチモーダル,軽量,自動回帰モデルであるScaffold Multimodal Monte Carlo (ScaffoldM3C) を提案する。
これらの候補を活用して、シークエンシャルモンテカルロ(SMC)を用いて、考えられるアセンブリシーケンスの集団を維持することで、複数の、潜在的に異なるアセンブリ方向を同時に検討することができる。
イメージコンディショニングプロンプトと足場安定化ビルドシーケンスを含むようにStableText2Brickデータセットを拡張して、マルチモーダルアーキテクチャをトレーニングします。
ScaffoldM3Cは、競合するベースラインよりも4倍小さく、推論中に5倍から20倍のスピードアップを実現し、最先端の手法に匹敵する建設品質を達成し、全体的な安定性を向上させる。
シミュレーションと実世界のロボット組立デモを通して,本手法の有効性を実証する。
関連論文リスト
- ProxyBuild: Text-Guided Structured 3D Building Generation with Mesh-Anchored Procedural Proxies [36.098009720325436]
構造的ビルディング生成のための新しいフレームワークであるProxyBuildを提案する。
本手法は, 構造的, 詳細, 編集後3次元の建物をテキストから頑健に生成できる。
論文 参考訳（メタデータ） (2026-09-20T06:11:13Z) - From Models to Systems: A Comprehensive Survey of Efficient Multimodal Learning [126.2308206954491]
本調査では,効率的なマルチモーダル学習のためのモデル・ツー・システム分類を初めて導入した。
我々は300を超える精巧な作品から3つの階層的なレベル – モデル,アルゴリズム,システム – への洞察を抽出し,アーキテクチャのパーシモニー,実行の洗練,ハードウェア対応のオーケストレーションを行う。
論文 参考訳（メタデータ） (2026-09-16T21:27:22Z) - Learning to build covering structures with continuous adjustments [8.307608514694444]
構造が構築されるにつれて,構築シーケンスを適応的に生成する強化学習手法を提案する。
構造物の安定性シミュレーションは計算量が多いため,効率的な探査戦略が開発されている。
クローズドループ実行における3Dプリントブロックを用いたスパンニングアーチの構築に成功した。
論文 参考訳（メタデータ） (2026-09-08T12:32:42Z) - DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。
DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。
実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
論文 参考訳（メタデータ） (2024-10-17T17:20:24Z) - SPAFormer: Sequential 3D Part Assembly with Transformers [52.980803808373516]
SPAFormerは3Dパートアセンブリ(3D-PA)タスクにおける逐次的な爆発的課題を克服するために設計された革新的なモデルである。
部品の数が増えると、組立の組み合わせは指数関数的に増加し、3D-PAの有効性を著しく阻害する爆発を引き起こす。
部分列は、単語によって構成された文に似た構成規則を伝達するため、並列およびオートレ生成の両方を探索する。
論文 参考訳（メタデータ） (2024-03-09T10:53:11Z) - StructDiffusion: Language-Guided Creation of Physically-Valid Structures
using Unseen Objects [35.855172217856726]
そこで我々はStructDiffusionを提案し,ステップバイステップ命令を使わずに物理的に有意な構造を構築する。
提案手法は,複数の言語条件の多段階3D計画タスクを実行できる。
シミュレーションと実世界のタスクの両方において、保持対象について実験を行う。
論文 参考訳（メタデータ） (2022-11-08T23:04:49Z) - Budget-Aware Sequential Brick Assembly with Efficient Constraint Satisfaction [63.672314717599285]
レゴブロックを用いた逐次レンガ組立体の課題に対処し、3D構造を創出する。
特に、使用されるレンガの数が増えるにつれて、組み立て可能な構造物の数は指数関数的に増加する。
本稿では,U字型スパース3次元畳み込みニューラルネットワークを用いて,次のブロック位置のスコアを予測する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-03T15:35:08Z) - Conditional Latent Block Model: a Multivariate Time Series Clustering
Approach for Autonomous Driving Validation [0.0]
本稿では,高次元時系列解析に適応した新しいクラスタリング手法を提案する。
FunCLBMモデルは最近提案された機能的遅延ブロックモデルを拡張し、行と列クラスタ間の依存関係構造を作成することができる。
シミュレーションと実例のRenaultデータセットによる実験は、提案ツールの有効性を示している。
論文 参考訳（メタデータ） (2020-08-03T15:26:26Z) - Deep Multi-Modal Sets [29.983311598563542]
ディープ・マルチモーダル・セット(Deep Multi-Modal Sets)は、1つの長く成長する固定サイズのベクトルではなく、非順序集合として特徴の集合を表現する技法である。
さまざまなタイプのタスクを学習するために,さまざまなモダリティを理由として,スケーラブルでマルチモーダルなフレームワークを実証する。
論文 参考訳（メタデータ） (2020-03-03T15:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。