論文の概要: presto: Efficient, Training-free, and Open-world Object Placement via Imaginary Search
- arxiv url: http://arxiv.org/abs/2608.21543v1
- Date: Fri, 21 Aug 2026 18:32:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.267365
- Title: presto: Efficient, Training-free, and Open-world Object Placement via Imaginary Search
- Title(参考訳): Presto: Imaginary Searchによる効率的で、トレーニング不要で、オープンワールドなオブジェクト配置
- Abstract要約: 我々は、MLLM(Multimodal Large Language Model)から導かれる検索タスクとして、オープンワールドのオブジェクト配置を再構成する。
我々は、オブジェクトの位置とスケールを反復的に洗練するために、仮想アクション空間内で機能するゼロショットのトレーニングフリーフレームワークであるtextsfprestoを紹介した。
実験によると、textsfprestoachieves state-of-the-art performance、特にこれまでは目に見えなかったオープンワールドセッティングにおいて。
- 参考スコア(独自算出の注目度): 7.245565016902194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object placement is critical in image composition, requiring spatially and semantically coherent positioning of objects within diverse scenes. Existing approaches typically rely on hand-crafted rules or supervised learning on limited datasets, which restricts their generalization and interpretability, especially in open-world scenarios involving novel objects and scenes. In this work, we reformulate open-world object placement as a heuristic search task guided by reasoning from a Multimodal Large Language Model (MLLM). We introduce \textsf{presto}, a zero-shot, training-free framework that operates within an imaginary action space to iteratively refine object position and scale. Our coarse-to-fine search strategy ensures fast convergence, and we evaluate two decision-making variants: Metric-guided Selection and MLLM-as-a-judge. Experiments across multiple benchmarks show that \textsf{presto}~achieves state-of-the-art performance, particularly in previously unseen, open-world settings. Human studies further reveal that the MLLM-as-a-judge variant produces more perceptually coherent placements than metric-driven approaches, highlighting a gap between standard evaluation metrics and human visual judgment.
- Abstract(参考訳): オブジェクト配置は画像合成において重要であり、多様なシーンにおけるオブジェクトの空間的および意味的コヒーレントな位置決めを必要とする。
既存のアプローチは、通常は手作りのルールや限られたデータセットによる教師あり学習に依存しており、特に新しいオブジェクトやシーンを含むオープンワールドのシナリオにおいて、その一般化と解釈性を制限する。
本研究では,MLLM(Multimodal Large Language Model)から導かれるヒューリスティックな探索タスクとして,オープンワールドのオブジェクト配置を再構成する。
物体の位置とスケールを反復的に洗練するために、想像的なアクション空間内で機能する、ゼロショットでトレーニング不要なフレームワークである、‘textsf{presto}’を導入する。
我々の粗大な探索戦略は、高速な収束を保証し、計量誘導選択とMLLM-as-a-judgeの2つの意思決定方法を評価する。
複数のベンチマークでの実験では、これまで見えなかったオープンワールド設定で、‘textsf{presto}~achieves state-of-the-artパフォーマンスが示されている。
人間の研究により、MLLM-as-a-judgeの変種は、基準評価指標と人間の視覚的判断とのギャップを浮き彫りにして、メートル法駆動のアプローチよりも知覚的に一貫性のある配置を生み出すことが明らかになった。
関連論文リスト
- Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。
不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。
AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-07-15T14:30:20Z) - Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization [93.79141221821858]
OpenReLocは、シーン理解と正確なポーズ推定機能を提供するために設計されたカメラ再ローカライズシステムである。
2D-3Dオブジェクトマッチングのためのオープン語彙意味知識を統合するためのマルチモーダル機構を提案する。
実験により、OpenReLocは、様々なデータセット間で、より優れた再ローカライズリコールと精度を実現することが示された。
論文 参考訳(メタデータ) (2026-06-23T16:27:04Z) - FindIt: A Format-Informed Visual Detection Benchmark for Generalist Multimodal LLMs [37.64883536754805]
本稿では,ジェネラリストMLLMの迅速なローカライゼーション能力を評価するために設計された,最初の包括的なベンチマークを紹介する。
我々のベンチマークは、オブジェクト検出、参照式検出、インスタンスレベルの検出、ビデオベースの検出の4つの中核的なタスクカテゴリにまたがっている。
オープンソースとプロプライエタリなMLLMの多種多様なセットを評価し,その性能と限界を詳細に分析する。
論文 参考訳(メタデータ) (2026-06-02T23:14:46Z) - CLUE: Adaptively Prioritized Contextual Cues by Leveraging a Unified Semantic Map for Effective Zero-Shot Object-Goal Navigation [8.756342403405204]
部屋や物体からの文脈的手がかりは重要であるが、それらの相対的重要性はターゲットに依存している。
本稿では,コンテキスト空間やオブジェクトの利用を適応的にバランスさせる新しいナビゲーションフレームワークであるCLUEを紹介する。
我々のフレームワークは、両方の種類の文脈情報を統合した統合意味値マップを構築する。
論文 参考訳(メタデータ) (2026-05-19T00:15:26Z) - Relational Semantic Reasoning on 3D Scene Graphs for Open World Interactive Object Search [14.297888615008041]
SCOUT: Scene Graph-Based Exploration with Learned Utility for Open-World Interactive Object Searchを紹介する。
SCOUTは部屋、フロンティア、オブジェクトにユーティリティスコアを割り当てることで、3Dシーングラフを直接検索する。
対話型オブジェクト検索タスクにおける意味的推論を評価するためのスケーラブルなシンボリックベンチマークであるSymSearchを提案する。
論文 参考訳(メタデータ) (2026-03-05T19:52:26Z) - LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments [7.458277072199384]
部分観測可能環境(LEGS-POMDP)におけるLanguagEとgesture-Guided Object Search
本稿では,LanguagE と Gesture-Guided Object Search in partially Observable Environments (LEGS-POMDP)を紹介した。
シミュレーションでは、マルチモーダル融合は単調なベースラインを著しく上回り、挑戦的な環境や対象カテゴリーで平均89%の成功率を達成する。
論文 参考訳(メタデータ) (2026-03-05T01:04:23Z) - Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting [59.37613121962146]
本稿では,クラスに依存しないオブジェクトカウントのためのMLLM駆動型弱教師付きフレームワークWS-COCを提案する。
WS-COCは、多くの最先端の完全に管理されたメソッドと一致し、また、アノテーションのコストを大幅に削減します。
論文 参考訳(メタデータ) (2026-02-13T09:58:35Z) - A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。
本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-09T14:32:21Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳(メタデータ) (2024-11-20T13:34:22Z) - Zero-Shot Object-Centric Representation Learning [72.43369950684057]
ゼロショット一般化のレンズによる現在の対象中心法について検討する。
8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。
多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
論文 参考訳(メタデータ) (2024-08-17T10:37:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。