論文の概要: What Looks Like a Capability Limit in Vision-Language Models Is a Readout Limit

• arxiv url: http://arxiv.org/abs/2609.27408v1
• Date: Wed, 23 Sep 2026 06:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.905587
• Title: What Looks Like a Capability Limit in Vision-Language Models Is a Readout Limit
• Title（参考訳）: ビジョンランゲージモデルにおける能力限界のように見えるのは読み出し限界
• Abstract要約: 視覚言語モデルのベンチマークは、いくつかのコンベンションで答えの選択を提供する。 ベンチマークレポートのリミットは、モデルではなく、リードアウトに属すことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks for vision-language models offer their answer choices in some convention: a letter, a color name, a pixel coordinate. That convention is treated as neutral. We find it is not, and that the limits a benchmark reports can belong to the readout rather than to the model. On 200 COCO photographs, Qwen3-VL-4B picks the correct one of nine locations for a named object 68.5% of the time when the locations are given in English and 20.0% when the same locations are given as pixel coordinates. Chance is 11.1%. The cost arises when the answer options are coordinates; giving the model a coordinate in the question instead costs 3.5 points and is not significant. The gap holds on a 4x4 grid, under 8-bit rather than 4-bit quantization, and in every slice by object size, boundary distance and category. It also decides which model wins. Two models that tie under English names differ by 39 points in one coordinate system and by 54 in the other, in opposite directions. On the color task, three of the four open models capable of the task show the penalty; on photographs, two of three open models do, and so does Gemini, at 11.1 points on parseable answers (p = 1e-4). GPT-4o does not. To ask whether a model reads a coordinate at all, we attach the wrong name to each one and record which the model follows. Color options written as hue angles are followed below chance; a normalized pixel convention is followed at four times chance. This tells apart conventions a model can use from ones it cannot, though it did not predict accuracy on two untried conventions. Five models also name the same color wheel five different ways, so a fixed answer vocabulary is not neutral across models either. Five times during this work we measured a capable model as incapable because our scorer and the model disagreed about what an answer looks like. We report each case. They are the phenomenon in miniature.
• Abstract（参考訳）: 視覚言語モデルのベンチマークは、文字、色名、ピクセル座標といったいくつかの慣習で答えの選択を提供する。 その慣例は中立として扱われる。 ベンチマークレポートのリミットは、モデルではなく、リードアウトに属すことができる。 200枚のCOCO写真で、Qwen3-VL-4Bは、英語で指定された場所の68.5%と、同じ位置がピクセル座標として与えられる場合の20.0%の9つの位置のうちの正しい位置を選定する。 背番号は11.1%。 解答オプションが座標であるときにコストが発生し、その代わりにモデルに問題の座標を与えるには3.5ポイントかかり、重要ではない。 このギャップは、4ビットの量子化よりも8ビット以下の4x4グリッドと、オブジェクトサイズ、境界距離、カテゴリによるスライスで成り立っている。 また、どのモデルが勝つかも決める。 英語名の下に結びつく2つのモデルは、1つの座標系では39点、もう1つの座標系では54点が異なる。 カラータスクでは、4つのオープンモデルのうち3つはペナルティを示すものであり、写真では3つのオープンモデルのうち2つはペナルティを示す。 GPT-4oは使用しない。 モデルが座標を読み取るかどうかを問うため、各座標に間違った名前を付け、後続するモデルを記録します。 色順に書かれた色オプションはチャンス以下で、正規化されたピクセル規則は4倍の確率で続く。 これは、モデルが使用できないコンベンションを区別するが、2つの未処理のコンベンションで正確さを予測しなかった。 5つのモデルは同じカラーホイールを5つの異なる方法で命名するので、固定された回答語彙もモデル間で中立ではない。 この作業中に5回、スコアラーとモデルが答えがどのようなものかに意見の相違があるため、有能なモデルを不可能として測定しました。 それぞれの事件を報告します。 これらはミニチュアにおける現象である。

関連論文リスト

• Part Grounding, Not Action Knowledge: Locating the Bottleneck in VLM Affordance Prediction [0.0]
  3人の開発者を対象にした8つのモデルと、ロボットが適用すべき動きについて尋ねます。 オープンプロンプトの下で、プッシュは64評価で1度生成され、19のオブジェクトのうち8つが正しいにもかかわらず、提案されたラベルセットに毎回表示される。 目標部分を命名すると、各モデルのアクション精度が0.158-0.474から0.684-0.947に0.32から0.63に上昇し、0-1/8から7-8/8にリコールされる。 オープンプロンプトの下のイメージを無視する一定の答えを負うモデルは存在しない。
  論文  参考訳（メタデータ） (2026-09-01T05:03:51Z)
• Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
  ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。 6つのモデルのうち4つは、ウィンドウ16で完全に失われている。 第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
  論文  参考訳（メタデータ） (2026-08-21T17:25:18Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• The One-Word Census: Answer-Choice Conformity Across 44 Language Models [3.7734715043126488]
  我々は31個のシングルターンプロンプトの収束を特徴付け、それぞれに有効な1ワードの回答が多数あるカテゴリを命名する。 平均$-log2$の確率は、他のすべてのモデルのプールされた答えの下で得られる。 ペルソナとコミュニティがデザインしたモデルは最も異なっており、最新のメインラインフラッグシップは最もコンフォーマリストである。
  論文  参考訳（メタデータ） (2026-07-14T14:12:05Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering [81.15678825882692]
  EgoPointVQAはジェスチャー中心の質問応答のためのデータセットとベンチマークである。 Hand Intent Tokens (HINT) は、既製の復元モデルを用いて、3Dの手のキーポイントから派生したトークンを符号化する。 我々のモデルは、異なるバックボーンとモデルサイズで他よりも優れています。
  論文  参考訳（メタデータ） (2026-03-13T00:23:38Z)
• Establishing Task Scaling Laws via Compute-Efficient Model Ladders [136.76316239300363]
  我々は,事前訓練された言語モデル(LM)のタスク性能を予測するために,タスクスケーリング法則とモデルはしごを開発する。 2つの予測ステップのパラメータ化関数に適合するデータポイントを収集し、2つの対象モデルの予測を行う。 ランク付けされた4つの多重選択タスクにおいて、絶対誤差の2ポイント以内で、両方のターゲットモデルの精度を予測することができる。
  論文  参考訳（メタデータ） (2024-12-05T18:21:49Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。