論文の概要: What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory

• arxiv url: http://arxiv.org/abs/2609.38494v1
• Date: Tue, 29 Sep 2026 20:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.715054
• Title: What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory
• Title（参考訳）: 注意すべきこと:プログレッシブガイド型イベントメモリによるスキルコンディション型ビゾタクタクタブル表現
• Abstract要約: 視覚と触覚を原始的なスキルのレベルでどのように組み合わせるべきかを研究する。 本稿では,モダリティ特異的な短期観察トークンを融合したスキル条件表現を提案する。
• 参考スコア（独自算出の注目度）: 53.7734456149083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic manipulation integrates vision, touch, and language, whose importance shifts across stages: vision guides reaching, while touch, through its evolution over time, decides grasping, alignment, and contact. Yet existing multi-modal manipulation policies typically use fixed temporal contexts and fusion strategies, despite shifts in what each modality contributes across different skills. We study how vision and touch should be combined at the level of primitive skills, asking what each skill needs from each sensor, and propose a skill-conditioned representation in which the queried skill conditions fusion over modality-specific short-term observation tokens while attending to a sparse event memory that retains terminal observations from the last $K$ executed skills. Evaluated by skill progress estimation on three contact-rich tasks, it reduces slip-detection delay by 87% against fine-tuned SOTA progress models, twist-completion delay by 67.5% against a vision-only ablation, and progress error on a blind search task by 92% through sparse event memory. Gains concentrate exactly where completion is defined by contact or task history. More broadly, our results suggest that observation formation not only policy architecture is a central challenge in multi-modal representation. Project Website: http://what-to-attend-what-to-keep.github.io/
• Abstract（参考訳）: ロボット操作は、視覚、触覚、言語を統合し、その重要さはステージによって異なる: 視覚ガイドが到達し、タッチしながら、時間とともにその進化を通じて、把握、アライメント、接触を決定する。 しかし、既存のマルチモーダル操作ポリシーは、異なるスキルにまたがる各モダリティの貢献度の変化にもかかわらず、固定された時間的文脈と融合戦略を用いるのが一般的である。 我々は,視覚と触覚を原始的スキルのレベルで組み合わせて,各センサから必要なスキルを問うとともに,前回の$K$から終端観察を保持するスパースイベントメモリに出席しながら,モダリティ特異的な短期観察トークンを融合したスキル条件の表現を提案する。 3つのコンタクトリッチタスクのスキルプログレス推定によって評価され、細調整されたSOTAプログレスモデルに対して87%のスリップ検出遅延、視覚のみのアブレーションに対して67.5%のツイスト補完遅延、スパースイベントメモリによるブラインド検索タスクにおけるプログレスエラーを92%削減する。 利得は、完了が連絡先やタスク履歴によって定義される場所に集中します。 より広範に、我々は、政策アーキテクチャだけでなく観察の形成もマルチモーダル表現における中心的な課題であることを示唆している。 プロジェクトウェブサイト:http://what-to-attend-what-to-keep.github.io/

関連論文リスト

• EgoTSR++: Egocentric Spatiotemporal Reasoning for Task Progress Understanding [51.078675806865306]
  VLM(Vision-Language Models)は、静的な視覚的理解において急速に進歩しているが、エゴセントリックなタスクがどのように進行しているかを判断しても信頼性が低い。 EgoTSR(EgoTSR)は,オーダーローバストなタスク・プログレス理解を診断・改善するための統合フレームワークである。
  論文  参考訳（メタデータ） (2026-09-23T09:20:44Z)
• Behavior-Skill: A Fine-Grained Benchmark for Evaluating Vision-Language-Action Policies in Long-Horizon Tasks [39.959375504916494]
  本稿では,長期タスクの学習と評価を改定するベンチマークであるBehavior-Skillを提案する。 50世帯のタスクにまたがる1万件のデモから、34のセマンティックスキルカテゴリから235,492のスキルインスタンスが含まれている。 本研究では,長期VLAポリシーの分析と改善のための中間機能プロファイルを公開することで,行動スキルがフルタスク評価を補完することを示す。
  論文  参考訳（メタデータ） (2026-08-31T10:03:48Z)
• DIM-WAM: World-Action Modeling with Diverse Historical Event Memory [23.350949759638056]
  世界行動モデルは、将来の視覚状態と行動を共同で予測することで、有望なロボット操作性能を示す。 マルチスケールの歴史的文脈、ローカルな未来のダイナミクス、グローバルなタスク進捗を統合したメモリ拡張ワールドアクションモデルであるDiM-WAMを紹介する。 RMBenchでは、DiM-WAMが平均28.4%、LingBot-VAが69.8%、メモリメモリのMem-0ベースラインが42.0%である。
  論文  参考訳（メタデータ） (2026-06-26T03:17:39Z)
• LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
  LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。 そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。 R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
  論文  参考訳（メタデータ） (2026-03-31T02:21:59Z)
• ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
  ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。 本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。 CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
  論文  参考訳（メタデータ） (2026-03-29T12:38:11Z)
• Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals [11.658733717166205]
  人間のポーズの推定、行動の分類、移動の進行を予測することは、人間とロボットの相互作用に不可欠である。 従来の触覚ベースのアプローチはそれぞれのタスクを別々に処理し、最適以下のパフォーマンスをもたらす。 本稿では,3つの異なる予測タスクを同時に処理するために,共用表現を学習するSCOTTI(Shared Convolutional Transformer for Tactile Inference)を提案する。
  論文  参考訳（メタデータ） (2026-03-26T20:55:45Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Are All Steps Equally Important? Benchmarking Essentiality Detection of Events [92.92425231146433]
  本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかについて検討する。 コミュニティガイドサイトWikiHowから収集した高品質なペア(ゴール,ステップ)コーパスをコントリビュートする。 高いアノテータ間の合意は、人間が事象の本質について一貫した理解を持っていることを証明している。
  論文  参考訳（メタデータ） (2022-10-08T18:00:22Z)
• Knowledge Distillation for Action Anticipation via Label Smoothing [21.457069042129138]
  視覚的観察や非言語的手がかりから未来を予測できる人間の能力は、インテリジェントなシステムを開発する上で不可欠である。 我々は,長期記憶(LSTM)ネットワークに基づくマルチモーダルフレームワークを実装し,過去の観測を要約し,異なる時間ステップで予測を行う。 実験により,ラベルの平滑化は動作予測のための最先端モデルの性能を体系的に向上することが示された。
  論文  参考訳（メタデータ） (2020-04-16T15:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。