論文の概要: RAIN: Robotic Task Generalization with Region-Aware Interaction Networks

• arxiv url: http://arxiv.org/abs/2610.14039v1
• Date: Fri, 02 Oct 2026 07:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 23:40:29.48649
• Title: RAIN: Robotic Task Generalization with Region-Aware Interaction Networks
• Title（参考訳）: RAIN: 地域対応インタラクションネットワークによるロボットタスクの一般化
• Abstract要約: 本稿では,タスクを目標条件付きサブタスクのシーケンスとして定式化し,それぞれをアクションタイプとターゲット領域マスクで指定する。 RAINは学習したスキルをさまざまなオブジェクトやシーンレイアウトで再利用し、トレーニング中に見えないタスクシーケンスに構成することを可能にする。
• 参考スコア（独自算出の注目度）: 31.289980154993568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing vision-language-action (VLA) models benefit from large-scale vision-language pretraining, but tend to memorize training trajectories, limiting their ability to adapt learned interactions to new task and scene configurations. To address this problem, we propose \textbf{Region-Aware Interaction Networks (RAIN)}, which formulates a task as a sequence of goal-conditioned subtasks, each specified by an action type and a target-region mask. This formulation allows learned skills to be reused across different objects and scene layouts and composed into task sequences not seen during training. Its Target-adaptive Cross-View Encoder (TCE) conditions multi-view features on target masks and exchanges information across views, while PlanDiT predicts target-directed trajectories and actions. A Transition Head estimates subtask completion to enable automatic transitions. We also introduce a \textbf{Reference-based Retargeting Strategy (RRS)}, which uses recorded trajectories to synthesize smooth approaches to reference interactions with alternative target regions, without collecting additional data. Experiments on \textbf{LIBERO-Analogy}, our new benchmark for robotic task generalization, and real-world tabletop tasks demonstrate that RAIN generalizes more robustly than existing VLA baselines.
• Abstract（参考訳）: 既存の視覚-言語-アクション(VLA)モデルは、大規模な視覚-言語事前訓練の恩恵を受けるが、トレーニング軌跡を記憶し、学習された相互作用を新しいタスクやシーン構成に適応させる能力を制限する傾向がある。 この問題を解決するために,目標条件付きサブタスクのシーケンスとしてタスクを定式化し,それぞれがアクションタイプとターゲット領域マスクによって指定される「textbf{Region-Aware Interaction Networks」を提案する。 この定式化により、学習したスキルをさまざまなオブジェクトやシーンレイアウトで再利用し、トレーニング中に見えないタスクシーケンスを構成することができる。 そのTCE(Target-adaptive Cross-View Encoder)は、ターゲットマスクのマルチビュー機能を条件として、ビュー間で情報を交換する一方、PlanDiTはターゲット指向のトラジェクトリとアクションを予測する。 遷移ヘッドは、自動遷移を可能にするためにサブタスク完了を推定する。 また、記録されたトラジェクトリを用いて、追加データを収集することなく、他のターゲット領域との参照相互作用のスムーズなアプローチを合成する、textbf{Reference-based Retargeting Strategy (RRS)を導入する。 ロボットタスクの一般化のための新しいベンチマークである‘textbf{LIBERO-Analogy}, 実世界のテーブルトップタスクの実験は、RAINが既存のVLAベースラインよりも堅牢に一般化することを実証している。

関連論文リスト

• Correcting WHERE, Preserving HOW: Compositional Generalization for Vision-Language-Action Models via Referential Guidance [11.62114796394251]
  本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのトレーニングフリーラッパーとしてReferential Guidance(ReGuide)を提案する。 ReGuideは、標準タスクのパフォーマンスを維持しながら、最大56.8ポイントと75.0ポイントのコンポジションシフトでの成功率を向上させる。
  論文  参考訳（メタデータ） (2026-09-29T22:20:32Z)
• Referring Remote Sensing Image Segmentation with Cross-view Semantics Interaction Network [65.01521002836611]
  本稿では,これらの制約を解決するために,並列で統一されたセグメンテーション・フレームワークであるクロスビューセマンティック・インタラクション・ネットワーク(CSINet)を提案する。 関心の対象を観察する際の人間の行動によって動機づけられたネットワークは、遠隔および近距離からの視覚的手がかりを編成し、相乗的予測を行う。 すべてのエンコーディングステージでは、Cross-View Window-attention Module(CVWin)を使用して、グローバルおよびローカルセマンティクスをクローズビューおよびリモートビューブランチ機能に補完する。
  論文  参考訳（メタデータ） (2025-08-02T11:57:56Z)
• GeoRSMLLM: A Multimodal Large Language Model for Vision-Language Tasks in Geoscience and Remote Sensing [33.19843463374473]
  リモートセンシングにおける視覚言語モデル(VLM)は、従来のタスクにおいて大きな可能性を示している。 Referring Expression (REC) に長けている現在のモデルは、複雑な命令を含むタスクに苦労している。 本稿では、オープン語彙タスク(OVT)、表現タスク(RET)、記述対象タスク(DOT)を含むリモートセンシングビジョンランゲージタスクセット(RSVLTS)を紹介する。 本稿では, RSVLTS のセット・オブ・ポイント・アプローチと, 循環参照に基づく条件と自己拡張戦略を用いた新しい統一データ表現を提案する。
  論文  参考訳（メタデータ） (2025-03-16T12:48:17Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
  本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。 提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。 この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
  論文  参考訳（メタデータ） (2023-08-27T13:17:34Z)
• IFSeg: Image-free Semantic Segmentation via Vision-Language Model [67.62922228676273]
  目的は,対象のセマンティックなカテゴリの集合にのみ依存するセマンティックセマンティックセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなタスクを実現することである。 本研究では、ランダムな意味圏の2次元マップと、対応する単語トークンの別のマップを作成することで、この人工的なトレーニングデータを構築する。 本モデルでは,本課題の効果的なベースラインを確立するだけでなく,既存手法と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2023-03-25T08:19:31Z)
• Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning [22.464424641734652]
  クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。 本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。 また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
  論文  参考訳（メタデータ） (2022-11-24T06:39:16Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。