論文の概要: TLC-DiT: Task-Aligned Local Visual Conditioning for Robust Multitask Robot Manipulation

• arxiv url: http://arxiv.org/abs/2609.34297v1
• Date: Mon, 28 Sep 2026 04:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:03:50.434168
• Title: TLC-DiT: Task-Aligned Local Visual Conditioning for Robust Multitask Robot Manipulation
• Title（参考訳）: TLC-DiT:ロバストマルチタスクロボットマニピュレーションのためのタスク調整型ローカルビジュアルコンディショニング
• Abstract要約: マルチタスク拡散変換器 (DiT) のプラグイン拡張である TLC-DiT を提案する。 拡散目標やアクションジェネレーションプロセスを変更することなく、明示的なタスクガイド付き局所視覚特徴マップを追加する。 LIBEROでは、TLC-DiTが平均93.5%、Multitask DiTが86.5%、SmolVLAが79.25%に達する。
• 参考スコア（独自算出の注目度）: 5.048149865687046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-conditioned robot policies have made clear progress in multitask manipulation, but task-relevant local visual evidence usually stays hidden inside a visual backbone or attention layers. This leaves the policy difficult to inspect and fragile under visual change, two symptoms of a missing explicit, task-aligned local visual channel. We present TLC-DiT, a plug-in extension of the Multitask Diffusion Transformer (DiT) policy that adds explicit task-guided local visual feature maps without changing the diffusion objective or the action-generation process. For each camera view, frozen DINOv2 patch features are modulated by the CLIP task embedding through FiLM and refined by a lightweight CoordConv CNN adapter into smooth spatial maps, which are concatenated with the original global image, language, joint-state, and timestep conditions. On LIBERO, TLC-DiT reaches a 93.5% average success rate, compared with 86.5% for Multitask DiT and 79.25% for SmolVLA. On LIBERO-plus, the total success rate improves from 54.07% to 57.24%, with larger gains under camera, background, and sensor-noise changes. In real-world bimanual tasks, TLC-DiT raises Teabag Putting completion from 44% to 89% while maintaining comparable Match Box Opening performance. Feature-map visualizations confirm that the model attends to task-relevant regions across views and perturbations, providing a direct way to inspect the visual evidence.
• Abstract（参考訳）: 言語条件のロボットポリシーは、マルチタスク操作において明確な進歩を遂げているが、タスクに関連するローカルな視覚的証拠は通常、視覚的なバックボーンや注意層の中に隠されている。 これにより、視覚的変化の下での検査と脆弱化が困難になり、明示的でタスクに沿った局所的な視覚チャネルが欠如している2つの症状が残る。 本稿では,マルチタスク拡散変換器 (DiT) のプラグイン拡張である TLC-DiT について述べる。 各カメラビューに対して、凍結したDINOv2パッチ機能は、FiLMを介してCLIPタスクを埋め込み、軽量のCoordConv CNNアダプタによってスムーズな空間マップに洗練され、元のグローバルイメージ、言語、共同状態、タイムステップ条件と連結される。 LIBEROでは、TLC-DiTが平均93.5%、Multitask DiTが86.5%、SmolVLAが79.25%に達する。 LIBEROプラスでは、総成功率は54.07%から57.24%に向上し、カメラ、背景、センサーノイズが変化した。 TLC-DiTは現実世界の双方向タスクでは、Teabag Putting完了を44%から89%に引き上げ、Match Box Openingのパフォーマンスを維持している。 特徴マップの可視化は、ビューと摂動をまたいだタスク関連領域にモデルが参加していることを確認し、視覚的証拠を直接検査する方法を提供する。

関連論文リスト

• CoRe-WAM: Correspondence-Aligned Temporal Residuals for World Action Models [23.55045182917598]
  CoRe-WAMは、パラメータ効率の時間的インタフェースを通じて、対応性のある視覚的変化を取り入れている。 TraceDeltaモジュールは、凍結追跡モデルからの対応を使って、歴史的な視覚的特徴を現在の場所へ転送する。 5,000の予算で、CoRe-WAMは50のRoboTwin 2.0タスクで92.22%のクリーンな成功を達成している。
  論文  参考訳（メタデータ） (2026-09-23T03:46:32Z)
• TAMS: Task-Aware Multi-View Adaptive Streaming for Wireless Telerobotic Manipulation [9.644565078968755]
  Task-Aware Multi-View Adaptive Streaming (TAMS) は、現在の操作フェーズに応じてビデオを割り当てるシステムである。 TAMSは軽量ロボット側信号からタスクフェーズを推論し、オペレーターに最も関係のあるカメラビューを優先する。
  論文  参考訳（メタデータ） (2026-08-10T15:30:51Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• Visual Test-time Scaling for GUI Agent Grounding [61.609126885427386]
  視覚言語モデルエージェントのための視覚的テスト時間スケーリングアプローチであるRereaFocusを紹介する。 提案手法は, 局所的に動的にズームインし, 背景乱れを低減し, 接地精度を向上する。 我々はScreenspot-proで28%、WebVoyagerベンチマークで24%の大幅なパフォーマンス向上を観察した。
  論文  参考訳（メタデータ） (2025-05-01T17:45:59Z)
• VimTS: A Unified Video and Image Text Spotter for Enhancing the Cross-domain Generalization [115.64739269488965]
  VimTSは、異なるタスク間のより良い相乗効果を達成することにより、モデルの一般化能力を高める。 本研究では,コンテンツ変形場(CoDeF)アルゴリズムを利用した合成ビデオテキストデータセット(VTD-368k)を提案する。 ICDAR2015ビデオとDSText v2では,ビデオレベルのクロスドメイン適応に対して,従来のエンドツーエンドビデオスポッティング手法を超越している。
  論文  参考訳（メタデータ） (2024-04-30T15:49:03Z)
• DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
  我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。 ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。 実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T14:59:31Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)
• SepViT: Separable Vision Transformer [20.403430632658946]
  ビジョントランスフォーマーは、しばしば高い性能を達成するために膨大な計算コストを頼りにしており、リソースに制約のあるデバイスにデプロイするには負担がかかる。 我々は、深度的に分離可能な畳み込みから教訓を導き、そのイデオロギーを模倣して、効率的なトランスフォーマーバックボーン、すなわちSepViTと略される分離可能なビジョントランスを設計する。 SepViTは、深度的に分離可能な自己アテンションを通じて、ウィンドウ内およびウィンドウ間のローカル・グローバル情報インタラクションの実行を支援する。
  論文  参考訳（メタデータ） (2022-03-29T09:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。