論文の概要: Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.27756v1
- Date: Tue, 20 Oct 2026 07:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.695052
- Title: Give the Model a Finger: Developmentally Aligned Evaluation of Counting in Vision-Language Models
- Title(参考訳): 指のモデルを与える:視覚言語モデルにおけるカウントの発達的アライメント評価
- Abstract要約: 視覚言語モデル(VLM)は,小集合上では正確であり,より大きな集合では推定される。
トレーニング不要のエージェントループにおいて,視覚的知性を持たない,愚かなイメージツールと同じアクションをVLMに与える。
- 参考スコア(独自算出の注目度): 6.089506784813256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) are exact on small sets and drift into estimation on larger ones, a profile reminiscent of children before they master counting. Children cross the barrier with epistemic actions: pointing at each item while reciting number words, moving counted items aside, partitioning the array. We give VLMs the same actions as dumb image tools with no visual intelligence of their own in a training-free agent loop. Our central claim is about measurement, not intervention: a model that counts by marking leaves a normally hidden serial procedure on the image, and the developmental principles of counting turn those marks into an interpretable audit of serial visual reasoning: every tag is classified against point-level ground truth as on-target, duplicate, phantom, or omitted, the answer is checked against the number of tags, and order irrelevance is tested by forcing opposite traversal orders. Across 9 models, 682 images, and 7 harness conditions we find that (i) the exact-counting range is a model-specific signature spanning nearly two orders of magnitude (R80 from 3 to 150 dots); (ii) as an intervention the finger mostly fails: tags help 4 of 9 models on small-count photographs, hurt imprecise pointers, and rarely beat a verbal routine or a blind point list; what the loop buys is an auditable trace, not accuracy; (iii) as measurement it succeeds: a tag-perturbation probe shows that precise pointers read their answers off the tags, pointing precision tracks which models benefit, dense scenes fail by omission, and models rarely revise after seeing their own tags; and (iv) the capacities dissociate: models follow an instructed traversal order yet often change their answer when it reverses, and children's regular-over-scattered advantage appears only under the routine and survives lattices that defeat a rows-times-columns shortcut.
- Abstract(参考訳): 視覚言語モデル(VLM)は、小さなセットで正確に計算され、大きなセットで推定される。
子どもたちは、各アイテムを指さしながら数字の単語を暗唱し、カウントされたアイテムを別々に移動し、配列を分割する。
トレーニング不要のエージェントループにおいて,視覚的知性を持たない,愚かなイメージツールと同じアクションをVLMに与える。
我々の中心的な主張は、介入ではなく介入ではなく計測である:画像上に通常隠れた連続的な手順をカウントするモデルと、それらのマークをシリアルな視覚的推論の解釈可能な監査に変換するという発達原理:全てのタグは、オンターゲット、複製、ファントム、または省略されたポイントレベル基底真理に対して分類され、その答えはタグの数に対してチェックされ、反対のトラバース命令を強制することで無関係にテストされる。
9つのモデル、682の画像、7つのハーネス条件
(i)正確な計数範囲は、約2桁(R80〜3~150点)のモデル固有の署名である。
タグは、小数の写真の9つのモデルのうち4つのモデルに役立ち、不正確なポインタを傷つけ、言葉のルーチンや盲点リストを滅多に打ち負かさず、ループが買うものは、精度ではなく監査可能なトレースである。
三 タグ摂動プローブにより、正確なポインタがタグから解答を読み取って、モデルが有益である精度の高いトラックを指し、密集したシーンは省略して失敗し、モデルがタグを見た後に修正されることは滅多にないことを示す。
(4) 能力は解離する: モデルは指示されたトラバース順に従っているが、逆転すると答えが変わることが多い、そして子供の通常のオーバーオーバーの利点はルーチンの下にのみ現れ、列の時間とカラムのショートカットを破る格子を生き残る。
関連論文リスト
- How Language Models Organize Task Information [15.685091205854823]
14個のコアタスクで5つの実験室から19個のLMを評価する。10つのベースモデルにより、確実に読みやすい9つの機能とほぼ同じ順序のタスクが提供される。
20モデルにわたる制御された合成実験では、成功した学習対象は単一機能の読み出しを許容する一方、可読性制御には数十の機能が必要である。
連続的な学習の後、保存されたヘッドは失敗するが、線形可読性は高いままであり、リカバリはテスト手順による初期タスク学習よりも少ないラベルを必要とする。
論文 参考訳(メタデータ) (2026-10-20T06:43:48Z) - Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。
提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。
記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文 参考訳(メタデータ) (2026-09-21T11:59:07Z) - Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction [0.0]
3人の開発者を対象にした8つのモデルと、ロボットが適用すべき動きについて尋ねます。
オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。
目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。
オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。
論文 参考訳(メタデータ) (2026-09-01T05:03:51Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models [44.585250047959924]
VLM(Vision-Language Models)はマルチモーダル推論において優れているが、その答えが視覚的証拠に根ざされているか、あるいは学習言語や世界の先駆者によって駆動されているかは定かではない。
本稿では,VLMにおけるデファクトカウントの診断フレームワークであるCounterCountを紹介する。
これらの失敗は、欠落または曖昧な視覚的証拠によるものではなく、無関係な視覚的トークンへの注意を過小評価するモデルによるものであることを示す。
論文 参考訳(メタデータ) (2026-05-18T04:00:05Z) - Do It Yourself: Learning Semantic Correspondence from Pseudo-Labels [81.22943696917304]
擬似ラベルを3次元認識することで意味的対応性の推定を改善することを提案する。
我々はSPair-71kに新たな最先端技術を導入し、同様の監督要件を持つ手法と比較して、絶対的な4%以上、7%以上を達成した。
論文 参考訳(メタデータ) (2025-06-05T17:54:33Z) - Self-Supervised Multi-Object Tracking For Autonomous Driving From
Consistency Across Timescales [53.55369862746357]
自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。
しかし、その再識別精度は、監督対象よりも低い。
本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
論文 参考訳(メタデータ) (2023-04-25T20:47:29Z) - CycAs: Self-supervised Cycle Association for Learning Re-identifiable
Descriptions [61.724894233252414]
本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。
既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。
疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
論文 参考訳(メタデータ) (2020-07-15T09:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。