論文の概要: Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues

• arxiv url: http://arxiv.org/abs/2511.10762v1
• Date: Thu, 13 Nov 2025 19:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.313755
• Title: Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues
• Title（参考訳）: 注意的特徴集約(英: Attentive Feature Aggregation)または: ポリシーがロバスト性やタスク関連視覚クイズへの注意を抑える方法
• Authors: Nikolaos Tsagkas, Andreas Sochopoulos, Duolikun Danier, Sethu Vijayakumar, Alexandros Kouris, Oisin Mac Aodha, Chris Xiaoxuan Lu,
• Abstract要約: 本稿では,乱れたシーンにおけるロバスト性の欠如に対する解決策として,ビジュモータ・ポリシー・プールについて考察する。 AFA(Attentive Feature Aggregation)は、タスク関連視覚的キューに自然に出席することを学ぶ軽量でトレーニング可能なプール機構である。 以上の結果から,視覚情報を無視することは,堅牢で汎用的な視覚運動ポリシーの展開に向けた重要なステップであることが示唆された。
• 参考スコア（独自算出の注目度）: 69.24378760740171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adoption of pre-trained visual representations (PVRs), leveraging features from large-scale vision models, has become a popular paradigm for training visuomotor policies. However, these powerful representations can encode a broad range of task-irrelevant scene information, making the resulting trained policies vulnerable to out-of-domain visual changes and distractors. In this work we address visuomotor policy feature pooling as a solution to the observed lack of robustness in perturbed scenes. We achieve this via Attentive Feature Aggregation (AFA), a lightweight, trainable pooling mechanism that learns to naturally attend to task-relevant visual cues, ignoring even semantically rich scene distractors. Through extensive experiments in both simulation and the real world, we demonstrate that policies trained with AFA significantly outperform standard pooling approaches in the presence of visual perturbations, without requiring expensive dataset augmentation or fine-tuning of the PVR. Our findings show that ignoring extraneous visual information is a crucial step towards deploying robust and generalisable visuomotor policies. Project Page: tsagkas.github.io/afa
• Abstract（参考訳）: 大規模視覚モデルの特徴を生かした事前学習型視覚表現(PVR)の導入は、視覚運動の政策を訓練するための一般的なパラダイムとなっている。 しかし、これらの強力な表現はタスク非関連シーン情報を幅広い範囲にエンコードすることができ、結果として訓練されたポリシーがドメイン外の視覚的変化や邪魔者に対して脆弱になる。 本研究では,摂動シーンにおけるロバスト性の欠如に対する解決策として,ビジュモータポリシのプールについて述べる。 AFA(Attentive Feature Aggregation)は、タスクに関連する視覚的手がかりを自然に受け取り、セマンティックにリッチなシーンの気晴らしを無視する、軽量でトレーニング可能なプール機構である。 シミュレーションと実世界の両方での広範な実験を通じて、AFAで訓練されたポリシーは、高価なデータセット増強やPVRの微調整を必要とせず、視覚摂動の存在下で標準プール法よりも著しく優れていたことを実証した。 以上の結果から,視覚情報を無視することは,堅牢で汎用的な視覚運動ポリシーの展開に向けた重要なステップであることが示唆された。 Project Page: tsagkas.github.io/afa

関連論文リスト

• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• Zero-Shot Visual Generalization in Robot Manipulation [0.13280779791485384]
  現在のアプローチは、しばしば点雲や深さのような不変表現に頼ることで問題を横取りする。 ディアングル型表現学習は、視覚的分布シフトに対して、視覚に基づく強化学習ポリシーを堅牢化できることを最近示した。 シミュレーションおよび実ハードウェア上での視覚摂動に対するゼロショット適応性を示す。
  論文  参考訳（メタデータ） (2025-05-16T22:01:46Z)
• Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent [72.1517476116743]
  近年のMLLMは、大規模マルチモーダルデータセットで事前訓練された後に、視覚的理解と推論能力の発達を見せている。 直接微調整や連続学習といった既存のアプローチでは、この問題に明示的に対処することができない。 本稿では,視覚的表現を忘れることの劣化を定量化するために,効果的なランクを活用する新しい視点を提案する。 視覚表現の効果的なランクを維持するために勾配更新を規制するMDGD法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T12:26:34Z)
• ImitDiff: Transferring Foundation-Model Priors for Distraction Robust Visuomotor Policy [39.06557194970261]
  ImitDiff(イミットディフ)は、微細な意味論によって導かれる拡散に基づく模倣学習政策である。 提案手法は,高レベルの命令を画素レベルの視覚意味マスクに変換する。 ImitDiffは、新しいオブジェクトや視覚的邪魔を含むゼロショット設定において、強力な一般化を示している。
  論文  参考訳（メタデータ） (2025-02-11T14:03:57Z)
• Learning Latent Dynamic Robust Representations for World Models [9.806852421730165]
  Visual Model-Based Reinforcement Learning (MBL)は、環境の基盤となるダイナミクスに関する知識をエージェントに伝えることを約束する。 ドリーマーのような時空エージェントは、観測空間に無関係なノイズが存在する場合、しばしば視覚的なピクセルベースの入力に苦しむ。 本研究では,世界モデルにおけるタスク固有の環境の内在的側面を捉えるために,アテンポ的マスキング戦略と潜在的再構築を併用して適用する。
  論文  参考訳（メタデータ） (2024-05-10T06:28:42Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Robust Deep Reinforcement Learning via Multi-View Information Bottleneck [7.188571996124112]
  マルチビュー情報ボトルネック(MIB)の原理に基づく補助目標を提案する。 これにより、未来を予測的かつタスク非関連な気遣いに敏感な学習表現が促進される。 背景が自然な映像に置き換えられた場合でも、視覚制御の課題に対してSOTAの性能を発揮できることを実証します。
  論文  参考訳（メタデータ） (2021-02-26T02:24:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。