論文の概要: Text-to-3D Policy: Fine-Grained Language-Behavior Alignment for Unseen Specification Generalization

• arxiv url: http://arxiv.org/abs/2609.39599v1
• Date: Wed, 30 Sep 2026 12:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.704591
• Title: Text-to-3D Policy: Fine-Grained Language-Behavior Alignment for Unseen Specification Generalization
• Title（参考訳）: テキストから3Dへ:不明瞭な仕様一般化のための細粒度言語ビヘイビアアライメント
• Abstract要約: 3Dビズモータポリシは、空間的に正確な操作のための強力な基盤を提供する。 現行のテキストから3Dのポリシーは、デモでカバーされているもの以上の、きめ細かな行動仕様に従うのに苦労しています。 我々は,細粒度言語行動アライメントのためのテキスト・ツー・3DポリシーフレームワークであるT3DPを紹介する。
• 参考スコア（独自算出の注目度）: 48.264729441944205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D visuomotor policies provide a strong foundation for spatially precise manipulation, yet current text-to-3D policies struggle to follow unseen fine-grained behavioral specifications beyond those covered by demonstrations. We study this challenge as unseen specification generalization, where language specifies behaviorally significant variations, such as target position, displacement, or articulated state, that are absent from policy training. We find that pretrained language representations and conventional global behavior-language alignment capture coarse task semantics but often blur nearby specifications that require distinct behaviors. We introduce T3DP, a Text-to-3D Policy framework for fine-grained language-behavior alignment. Rather than compressing each instruction and demonstration into a single global embedding, T3DP preserves their local structures and establishes bidirectional token-level correspondence between linguistic elements and behavioral segments. This directly grounds subtle linguistic variations in the behavior components they affect, preventing closely related specifications from collapsing in the representation space. The resulting specification-sensitive language representation conditions a point-cloud-based 3D diffusion policy, enabling more precise control over unseen behavioral specifications without modifying the underlying policy architecture. Across Meta-World, ManiSkill, and RoboTwin, T3DP improves average held-out-specification success over global language-behavior alignment by +11.0-14.2 points, with gains on all 15 task families; on real-robot tasks, it further raises average success from 47.5% to 65.0% (+17.5 points). Representation and action-probe analyses show that fine-grained alignment better preserves specification geometry and action-relevant variation, linking local behavior grounding to downstream control.
• Abstract（参考訳）: 3Dビズモータポリシは、空間的に正確に操作するための強力な基盤を提供するが、現在のテキストから3Dポリシーは、デモによってカバーされるもの以上の、目立たないきめ細かい行動仕様に従うのに苦労している。 我々は,この課題を,目標位置,変位,調音状態などの行動学的に重要な変化を規定する言語が,政策訓練に欠如しているような,目に見えない仕様の一般化として検討する。 事前訓練された言語表現と従来のグローバルな行動言語アライメントは、粗いタスクセマンティクスをキャプチャするが、異なる振る舞いを必要とする近くの仕様を曖昧にすることが多い。 我々は,細粒度言語行動アライメントのためのテキスト・ツー・3DポリシーフレームワークであるT3DPを紹介する。 各命令とデモを一つのグローバルな埋め込みに圧縮するのではなく、T3DPはそれぞれのローカル構造を保存し、言語要素と行動セグメント間の双方向トークンレベルの対応を確立する。 このことは、それらが与える行動要素の微妙な言語的変化を直接根拠にしており、表現空間において密接に関連する仕様が崩壊することを防ぐ。 結果として、仕様に敏感な言語表現は、ポイントクラウドベースの3D拡散ポリシーを条件とし、基礎となるポリシーアーキテクチャを変更することなく、目に見えない行動仕様をより正確に制御できる。 Meta-World、ManiSkill、RoboTwin全体で、T3DPはグローバルな言語行動アライメントよりも平均的な保留特化の成功を+11.0-14.2ポイント改善し、15のタスクファミリ全てをゲインさせ、実際のロボットタスクでは47.5%から65.0%(+17.5ポイント)に改善した。 表現とアクションプローブ解析により、細粒度アライメントは仕様幾何学とアクション関連変動をよりよく保存し、局所的な挙動を下流制御にリンクすることを示した。

関連論文リスト

• Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking [61.91472604294714]
  トラッキング主成分を抽出する新しい言語依存解析機構を提案する。 我々は、事前学習された視覚言語モデルQwen-VLの強力なクロスモーダル理解能力を利用する。 本手法は,複数の大規模視覚言語追跡ベンチマークにおいて,一貫した,より優れたトラッキング性能を実現する。
  論文  参考訳（メタデータ） (2026-06-28T12:12:18Z)
• ProVG: Progressive Visual Grounding via Language Decoupling for Remote Sensing Imagery [20.725910735285762]
  リモートセンシングビジュアルグラウンドティングは、自然言語表現によるリモートセンシング画像中のオブジェクトのローカライズを目的としている。 言語表現をグローバルな文脈,空間関係,オブジェクト属性に分解することで,局所化の精度を向上させる新しいRSVGフレームワークである textbfProVG を提案する。 ProVGは既存のメソッドを一貫して上回り、新しい最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-04-02T10:59:19Z)
• HeRO: Hierarchical 3D Semantic Representation for Pose-aware Object Manipulation [54.325346533275074]
  HeROは、階層的意味論を通して幾何学と意味論を結合する拡散ベースのポリシーである。 様々なテストにおいて、HeROは新しい最先端技術を確立し、Place Dual Shoesの成功率を12.3%改善し、6つの挑戦的なポーズ対応タスクで平均6.5%向上した。
  論文  参考訳（メタデータ） (2026-02-21T12:29:10Z)
• Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation [31.386822229629455]
  本稿では,ロボット操作のための粗粒度学習パラダイムを用いた言語誘導グラフ検出(LGGD)を提案する。 この設計により、きめ細かいビジュアル・セマンティックなアライメントが可能となり、タスク命令に対する予測された把握の実現性が改善される。 OCID-VLGとGrasp-Anything++データセットの実験は、LGGDが既存の言語誘導の把握方法を上回ることを示している。
  論文  参考訳（メタデータ） (2025-12-24T09:16:42Z)
• Efficient Alignment of Unconditioned Action Prior for Language-conditioned Pick and Place in Clutter [59.69563889773648]
  本研究では,ロボットが対象物を開き散らかし,特定の場所に移動させるという,言語条件のピック・アンド・プレイス作業について検討する。 いくつかのアプローチは、ビジョンファウンデーションモデルから機能を使ってエンドツーエンドのポリシーを学び、大きなデータセットを必要とする。 本研究では,無条件動作先行と3次元視覚言語先行とを1つの注意層から学習することで協調する行動先行アライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T14:20:33Z)
• Soft Alignment of Modality Space for End-to-end Speech Translation [49.29045524083467]
  エンドツーエンドの音声翻訳は、音声を統一されたモデル内でターゲットテキストに変換することを目的としている。 音声とテキストのモダリティの固有の違いは、しばしば効果的なクロスモーダルとクロスリンガルの移動を妨げる。 両モードの表現空間を整列させるために, 対角訓練を用いたソフトアライメント(S-Align)を導入する。
  論文  参考訳（メタデータ） (2023-12-18T06:08:51Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。