論文の概要: Do the Details Help the Whole? One-Way Transfer from Person Actions to Group Intent in VLMs on JRDB-Social
- arxiv url: http://arxiv.org/abs/2611.16581v1
- Date: Thu, 12 Nov 2026 10:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.442911
- Title: Do the Details Help the Whole? One-Way Transfer from Person Actions to Group Intent in VLMs on JRDB-Social
- Title(参考訳): 詳細は誰を助けるのか?JRDBソーシャル上でのVLMにおける個人行動からグループインテントへのワンウェイ移行
- Abstract要約: 両方のレベルを一度にトレーニングすることは、それぞれに役立つと仮定されることが多い。
私たちは人的行為を詳細として扱い、グループ的意図を全体として扱います。
Qwen3.5 9BとQwen3-VL 4Bのコアアームを繰り返す8つのトレーニングアームでQwen3.5 4Bを微調整します。
- 参考スコア(独自算出の注目度): 11.543353599329675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Social scene datasets label people at two levels: what each person is doing and what the group is there for. Training on both levels at once is often assumed to help each of them. We test this assumption for vision-language models (VLMs) on JRDB-Social, treating person actions as the details and group intent as the whole. We fine-tune Qwen3.5 4B under eight training arms with three seeds, repeat the core arms on Qwen3.5 9B and Qwen3-VL 4B, and judge every arm with a verdict rule fixed before testing. Writing each member's actions before the intent raises intent macro-F1 from 30.1 to 31.0, and writing the intent first reaches 31.2, while action F1 stays within 0.2 points of an action-only model. Under the selected recipe, no arm trained with intent improves actions. The gain requires correct, image-grounded actions: empty action lists or actions borrowed from another group with the same intent lower intent F1. Forced-prefix tests, occlusion, member masking, linear probes and component grafting show that the intent follows the written actions, relies more on people and partly resides in the vision tower. Supplying actions as input instead of as targets hurts both levels.
- Abstract(参考訳): ソーシャルシーンデータセットは、各人が何をしているか、グループが何のために何をしているかという2つのレベルに人々をラベル付けします。
両方のレベルを一度にトレーニングすることは、それぞれに役立つと仮定されることが多い。
我々は、この仮定をJRDB-Social上で視覚言語モデル(VLM)に適用し、個人行動の詳細とグループ意図を全体として扱う。
Qwen3.5 9BとQwen3-VL 4Bのコアアームを繰り返す8つのトレーニングアームでQwen3.5 4Bを微調整します。
インテントが30.1から31.0までインテントマクロF1を上昇させ、最初にインテントを書くと31.2に到達し、アクションF1はアクションのみのモデルの0.2ポイント以内に留まる。
選択されたレシピの下では、意図で訓練された腕が行動を改善することはない。
空のアクションリストや、同じ意図の低い別のグループから借りたアクションF1。
強制プレフィックステスト、オクルージョン、メンバーマスキング、リニアプローブ、コンポーネントグラフティングは、意図が記述された動作に従っており、人に依存しており、一部はビジョンタワーに居住していることを示している。
ターゲットとしてではなく入力としてアクションを供給することは、両方のレベルを傷つけます。
関連論文リスト
- Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos [7.54309578764991]
ラテントアクションモデル(LAM)は、フレーム間の抽象的なアクションを推論することによって、ビデオを監視信号に変換する。
両視点LAMプレトレーニングは, 単視点に比べ, 接地トラス6D動作のデオードビリティを17%向上させることを示した。
結果はハードウェアに転送され、850回のロールアウトでアクションのみのポリシーよりも、人間の手による成功率を+20%向上させる。
論文 参考訳(メタデータ) (2026-10-20T07:55:43Z) - Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
論文 参考訳(メタデータ) (2026-10-09T08:29:46Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳(メタデータ) (2026-09-04T17:16:48Z) - Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction [0.0]
3人の開発者を対象にした8つのモデルと、ロボットが適用すべき動きについて尋ねます。
オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。
目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。
オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。
論文 参考訳(メタデータ) (2026-09-01T05:03:51Z) - The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction [23.90153863744227]
人間のビデオから学ぶための4段階のベンチマークであるThe Imitator Gameを紹介した。
人間の実演とロボット自身のシーンのギャップを徐々に広げ、軌道上のリプレイが止まる場所を分離する。
私たちはIG-10Kと、これまでで最大の環境整合型人間ロボットデータセット、そして盲目のA/B人間評価のためのオープンプラットフォームであるImitator Arenaと組み合わせました。
論文 参考訳(メタデータ) (2026-08-23T08:51:01Z) - SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks [69.08780911753102]
マルチターンジェイルブレイクはターン間で有害なインテントを前進させることでパターンを利用するため、単一のメッセージが完全な目的を公開することはない。
敵意構造を用いて多ターンジェイルブレイクを組織する4部構成の意図指向分類法を開発した。
論文 参考訳(メタデータ) (2026-08-02T09:24:08Z) - The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation [65.24213788883016]
本報告では,第5回PVUW MeViS-Text Challengeの優勝ソリューションについて述べる。
私たちは、強力なマルチモーダルな大規模言語モデルとSAM3を組み合わせた、完全にトレーニング不要なパイプラインを構築しています。
我々の手法はPVUW 2026 MeViS-Textテストセットで第1位であり、最終スコアは0.909064、J&Fスコアは0.7897026である。
論文 参考訳(メタデータ) (2026-04-01T02:42:30Z) - BABEL: Bodies, Action and Behavior with English Labels [53.83774092560076]
モーキャップシーケンスで実行される動作を記述した言語ラベル付き大規模データセットであるBABELを提案する。
BABELには28k以上のシーケンスラベルと63kのフレームラベルがあり、250以上のユニークなアクションカテゴリに属している。
ベンチマークとしてBABELの価値を実証し、3次元動作認識におけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2021-06-17T17:51:14Z) - AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent
Detection and Slot Filling [69.59096090788125]
本稿では,多目的検出とスロットフィリングを併用する適応グラフ対話フレームワーク(AGIF)を提案する。
スロットとインテントの強い相関関係をモデル化するために,インテント-スロットグラフ相互作用層を導入する。
このような相互作用層が各トークンに適応的に適用され、関連する意図情報を自動抽出する利点がある。
論文 参考訳(メタデータ) (2020-04-21T15:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。