論文の概要: What Sketches Tell Us about LVLMs: Conventions, Grounding, and Localisation

• arxiv url: http://arxiv.org/abs/2610.34037v1
• Date: Sun, 25 Oct 2026 04:02:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.523179
• Title: What Sketches Tell Us about LVLMs: Conventions, Grounding, and Localisation
• Title（参考訳）: LVLMについてSketchesが教えてくれるもの: 慣習、接地、そしてローカライゼーション
• Abstract要約: 本研究では, 時間的部分構成順序, 空間的注意に基づく接地, 接地における機械的層/頭部軌跡の3点からなる, トレーニング不要なスケッチプローブを提案する。 我々は,2つの部分注釈スケッチデータセットに対して,9つのLVLMをパート順,5つのアテンションリードアウトで評価した。 その結果、スケッチ駆動型LVLMの実践的な診断が可能になった。微調整なし、補助セグメンタなし、ヘッドセレクションの前に倍増する層バンド、テスト対象のモデルとデータセット毎にmAcc@0.1をマッチングまたは改善する。
• 参考スコア（独自算出の注目度）: 43.95253902432504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LVLM benchmarks tell us whether a model answers correctly, but not which visual conventions it has retained, nor where those conventions live. Sketches expose this hidden structure. A sketch removes texture, lighting, and photographic context while preserving the strokes humans judged sufficient for recognition. If an LVLM can operate on that abstraction, the surviving signal is structural rather than merely photometric. We introduce a training-free sketch probe with three readouts: temporal part-construction order, spatial attention-based grounding, and the mechanistic layer/head locus of grounding. We evaluate nine LVLMs on part order and five on the attention readouts, over two part-annotated sketch datasets. Three findings emerge. First, LVLM part order tracks human convention: models reproduce canonical orderings where human drawings converge, and become correspondingly variable where human orderings vary. Controls that blank, withhold, and mismatch the sketch locate this convention in the language model. Second, part-level grounding survives the abstraction: attention heads selected from the frozen model with an existing recipe recover part and object regions on object and scene sketches, with no grounding supervision. Third, the grounding signal concentrates in a narrow mid-network band whose location follows the base language model rather than parameter count in the two families we compare, and remains stable across object and scene sketches. The result is a practical diagnostic for sketch-driven LVLMs: no fine-tuning, no auxiliary segmenter, and a layer band that doubles as a head-selection prior, matching or improving grounding mAcc@0.1 in every model and dataset we tested.
• Abstract（参考訳）: LVLMベンチマークは、モデルが正しく答えるかどうかを教えてくれます。 バスケットはこの隠れた構造を露出します。 スケッチは、人間の認識に十分と判断されたストロークを保存しながら、テクスチャ、照明、写真的コンテキストを除去する。 LVLMがその抽象化で操作できる場合、生き残った信号は単なる測光ではなく構造的である。 本研究では, 時間的部分構成順序, 空間的注意に基づく接地, 接地における機械的層/頭部軌跡の3点からなる, トレーニング不要なスケッチプローブを提案する。 我々は,2つの部分注釈スケッチデータセットに対して,9つのLVLMをパート順,5つのアテンションリードアウトで評価した。 3つの発見がある。 モデルは、人間の描画が収束する標準順序を再現し、人間の順序が変化する場合に対応する可変となる。 ブランク、保留、スケッチのミスマッチといったコントロールは、言語モデルでこの規約を定めている。 第2に、既存のレシピ復元部分を持つ凍結モデルから選択された注目ヘッドと、オブジェクトとシーンのスケッチ上のオブジェクト領域とを、グラウンドの監督なしに、抽象化された部分レベルのグラウンドが生き残る。 第三に、接地信号は、私たちが比較した2つのファミリーのパラメータ数ではなく、基本言語モデルに従う位置が狭い中間ネットワークバンドに集中し、オブジェクトとシーンのスケッチ間で安定したままである。 その結果、スケッチ駆動型LVLMの実用的な診断が可能になった。微調整なし、補助セグメンタなし、ヘッドセレクションの前に倍増する層バンドで、テスト対象のモデルとデータセット毎にmAcc@0.1をマッチングまたは改善する。

関連論文リスト

• How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection [15.34458429809361]
  テキストスクラストはタスク固有の識別方向を学習し、隠れた状態をクリアな2クラスタ形状にプッシュすることを示す。 対照的に、textscs2sは事前訓練された言語モデリングヘッドに依存している。 解析の結果, テキストセル信号は最終層の前に飽和し, その後上層が統計的に交換可能で, ほぼ冗長な表現の台地を形成することが明らかとなった。
  論文  参考訳（メタデータ） (2026-10-20T06:30:27Z)
• Uncovering and Shaping the Latent Representation of 3D Scene Topology in Vision-Language Models [9.722829662835233]
  現代の視覚言語モデル (VLM) には3次元シーンの潜在的トポロジマップが存在することを示す。 この空間部分空間をクロスシーン線形特徴抽出により分離することにより,モデルの空間出力を因果的に制御するクリーン空間部分空間を抽出する。 この潜在表現を数学的に形成し、シーンの3次元ガウス-核グラフのラプラシア固有写像との対応性を証明する。
  論文  参考訳（メタデータ） (2026-05-08T02:32:27Z)
• Spatial Reasoning in Foundation Models: Benchmarking Object-Centric Spatial Understanding [8.202861909913791]
  基礎モデルにおけるオブジェクト中心空間推論のベンチマークを示す。 グラウンディングディーノやOWLv2のような検出器は、リレーショナル推論に制限のある正確なボックスを提供する。 本研究は,地域化と真の空間理解のギャップを強調し,地域社会における空間認識基盤モデルの必要性を指摘する。
  論文  参考訳（メタデータ） (2025-09-26T06:06:19Z)
• MAPConNet: Self-supervised 3D Pose Transfer with Mesh and Point Contrastive Learning [32.97354536302333]
  3次元ポーズ転送は、ソースジオメトリのポーズを、ターゲットアイデンティティを保存したターゲットジオメトリに転送することを目的とした、困難な生成タスクである。 現在のポーズ伝達法は、エンドツーエンドの対応学習を可能にするが、監督のための基礎的真理として望ましい最終的な出力を必要とする。 本稿では、教師なし、半教師なし、あるいは完全に教師付き設定で訓練できる3Dポーズ転送のための新しい自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-26T20:42:40Z)
• What Can Human Sketches Do for Object Detection? [127.67444974452411]
  スケッチは非常に表現力が高く、本質的に主観的かつきめ細かい視覚的手がかりを捉えている。 スケッチ可能なオブジェクト検出フレームワークは、 textityou sketch -- textit that zebra' に基づいて検出する。 スケッチベース画像検索(SBIR)のために構築された基礎モデル(例えばCLIP)と既存のスケッチモデルとの直感的な相乗効果を示す。 特に、まず、エンコーダモデルの両方のスケッチブランチで独立に実行し、高度に一般化可能なスケッチとフォトエンコーダを構築する。
  論文  参考訳（メタデータ） (2023-03-27T12:33:23Z)
• Unsupervised Object Learning via Common Fate [61.14802390241075]
  ビデオから生成オブジェクトモデルを学習することは、長い問題であり、因果的シーンモデリングに必要である。 この問題を3つの簡単なサブタスクに分解し、それぞれに候補解を提供する。 提案手法は,入力ビデオのオクルージョンを超えて一般化された生成モデルを学習することができることを示す。
  論文  参考訳（メタデータ） (2021-10-13T08:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。