論文の概要: Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction

• arxiv url: http://arxiv.org/abs/2609.13225v1
• Date: Tue, 01 Sep 2026 05:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.659149
• Title: Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction
• Title（参考訳）: アクション知識ではない部分的接地:VLM精度予測におけるボトルネックの配置
• Abstract要約: 3人の開発者を対象にした8つのモデルと、ロボットが適用すべき動きについて尋ねます。 オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。 目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。 オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks agree that vision-language models reason poorly about low-level manipulation, but an aggregate accuracy score does not say which step fails. We separate two steps that affordance questions conflate: identifying which part of an object to act on, and knowing what action that part requires. Across 19 articulated objects we asked eight models, spanning three developers, what motion a robot should apply. Under an open prompt, push was produced once in 64 evaluations where it was correct, despite being correct for 8 of 19 objects and appearing in the offered label set every time. Inspecting the outputs showed why: models described a different part than the one being scored, e.g. explaining how to pick up a camera rather than press its button. Naming the target part raises action accuracy by 0.32 to 0.63 for every model, from 0.158-0.474 to 0.684-0.947, and push recall from 0-1/8 to 7-8/8. No model beats a constant answer that ignores the image under the open prompt; once the part is named, all eight do. Asked to describe the same part in free prose with no label set, models produce pressing language for 6 to 8 of 8. These results are hard to reconcile with missing action knowledge, and instead point to part grounding as the dominant bottleneck, a pattern that holds across all three model families and does not diminish with capability. Naming the part supplies the grounding variable, so this bounds what a perfect part detector would offer rather than demonstrating a general model of mechanics. Two supporting results agree: on real photographs only three of eight models localize grasp points better than a constant baseline, and on rendered objects none do. We also document two measurement errors of our own, a threshold that let a constant baseline score 0.929 and a labelling rule wrong on 4 of 19 objects, both caught only by testing our numbers against trivial alternatives.
• Abstract（参考訳）: ベンチマークでは、視覚言語モデルは低レベルな操作には不十分な理由があるが、総合的精度スコアではどのステップが失敗するかは示さない。 私たちは2つのステップを分けて、余裕のある疑問が浮き彫りになる: オブジェクトのどの部分が動くかを特定し、その部分に必要なアクションを知る。 ロボットがどんな動きをするべきか、という3人の開発者を対象にした8つのモデルに対して、19の具体化されたオブジェクトを質問しました。 オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。 例えば、ボタンを押すのではなく、カメラをピックアップする方法を説明する。 目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。 オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。 ラベルセットのない無料の散文で同じ部分を記述するように求められ、モデルは8の6から8のプレス言語を生成する。 これらの結果は、行動知識の欠如と整合しがたいものであり、その代わりに、3つのモデルファミリー全てにまたがって機能的に低下しないパターンである、支配的なボトルネックとして部分的に根拠を置いていることを指摘する。 部品を命名することで、接地変数が供給されるので、これは力学の一般的なモデルを示すのではなく、完璧な部分検出器が提供するものの境界である。 実際の写真では8つのモデルのうち3つだけが一定のベースラインよりもグリップポイントをローカライズしており、レンダリングされたオブジェクトでは、何もしない。 定数のベースラインスコア0.929とラベル付けルールの誤りを19のオブジェクトの4つに付与するしきい値である。

関連論文リスト

• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence [54.58886283991723]
  Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。 Apple-PIは3つのコンポーネントから構成される。 ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
  論文  参考訳（メタデータ） (2026-07-17T18:00:05Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel [0.0]
  パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
  論文  参考訳（メタデータ） (2026-06-22T08:48:50Z)
• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)
• Weakly-Supervised Action Localization with Expectation-Maximization Multi-Instance Learning [82.41415008107502]
  弱教師付きアクションローカライゼーションでは、ビデオレベルアクションラベルのみを与えられたビデオ内のアクションセグメントをローカライズするモデルをトレーニングする必要がある。 バッグ(ビデオ)には複数のインスタンス(アクションセグメント)が含まれている。 我々のEM-MILアプローチは、学習目標とMIL仮定の両方をより正確にモデル化することを示します。
  論文  参考訳（メタデータ） (2020-03-31T23:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。