論文の概要: Are In-Context Images Worth 10 Dimensions?

• arxiv url: http://arxiv.org/abs/2609.37659v1
• Date: Tue, 29 Sep 2026 14:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.615615
• Title: Are In-Context Images Worth 10 Dimensions?
• Title（参考訳）: インテクスト画像は10次元に価値があるか?
• Abstract要約: 大規模視覚言語モデル(LVLM)における識別幾何学の共通性を明らかにする。 線形自己アテンションは,主成分にコンテキスト内データを投影することで次元的縮小を実現できることを示す。 トレーニングされたLVLMは、同様のメカニズムにより、初期層における視覚表現の次元性を低下させる証拠を提供する。
• 参考スコア（独自算出の注目度）: 12.487816927241056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been significant work on understanding the In-Context Learning capabilities of Large Language Models, especially on the induction circuit. For a few-shot classification task, the induction circuit leverages linear representations of each labeled example in-context in order to classify an unlabeled query. However, few works focus on how those linear representations are built in the first place. Leveraging the expressivity of the vision modality compared to text, we uncover a Shared Discriminative Geometry (SDG) inside Large Vision Language Models (LVLMs). It is a low-dimensional space, shared across all image classification tasks, in which in-context images are compressed into linearly separable representations later used to perform classification. We observe that this is the result of the model performing a dimensionality reduction of vision representations in early layers. In order to explain this phenomenon: (1) We show analytically that linear self-attention can perform a dimensionality reduction by projecting in-context data onto its principal components, with each layer implementing one gradient descent step toward this objective. (2) We provide evidence that trained LVLMs reduce the dimensionality of vision representations in early layers via a similar mechanism.
• Abstract（参考訳）: 大規模言語モデルのインコンテキスト学習能力,特に誘導回路の理解には,重要な研究がなされている。 数ショットの分類タスクでは、帰納回路はラベル付きクエリを分類するためにラベル付き例のインコンテキストの線形表現を利用する。 しかしながら、これらの線形表現がそもそもどのように構築されているかに焦点を当てる研究はほとんどない。 テキストと比較して視覚モダリティの表現性を活用すれば、大ビジョン言語モデル(LVLM)内の共有識別幾何学(SDG)を明らかにすることができる。 これは低次元空間であり、すべての画像分類タスクで共有され、インコンテキスト画像は後に分類を行うために使われる線形分離可能な表現に圧縮される。 これは、初期層における視覚表現の次元的低減を行うモデルの結果である。 この現象を説明するために, 1) 主成分にコンテキスト内データを投影することで, 線形自己意識が次元的縮小を達成できることを解析的に示す。 2) 訓練されたLVLMが類似のメカニズムにより初期層における視覚表現の次元性を低下させる証拠を提供する。

関連論文リスト

• Context-Aware Interpretable Representations for Retrieval and Graph Convolutional Network Classification [3.5232028627328895]
  ランクベースの解釈可能なグラフ埋め込みとマニフォールド学習戦略を統合した,教師なしの新しいフレームワークを提案する。 提案手法は、まず、多様体解析によりデータセットの文脈情報を特徴付け、次にスパースで自己説明可能な埋め込みを生成することにより、これらのギャップを効果的に橋渡しする。
  論文  参考訳（メタデータ） (2026-08-29T02:29:59Z)
• Featurising Pixels from Dynamic 3D Scenes with Linear In-Context Learners [52.436846702622915]
  ビデオから画素精度の高い特徴記述子を学習するフレームワークを提案する。 トレーニングフレームワークのコアとなるのは,コンテキスト内での線形学習です。 多様な視覚タスクのスイートにまたがって学習された表現の説得力のある経験的メリットを実証する。
  論文  参考訳（メタデータ） (2026-04-29T09:51:56Z)
• Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models [32.05060138278358]
  我々は,有向グラフに基づく合成図データセットを用いて,大規模視覚言語モデル(LVLM)の内部表現を探索する。 実験の結果,エッジ情報はビジョンエンコーダでは線形に分離できず,言語モデルではテキストトークンでのみ線形に符号化されることがわかった。 これらのことから,線形分離可能な表現が形成される段階は視覚情報の種類によって異なることが示唆された。
  論文  参考訳（メタデータ） (2026-03-03T11:17:31Z)
• Barking Up The Syntactic Tree: Enhancing VLM Training with Syntactic Losses [31.85977999591524]
  視覚言語モデルは、画像領域と大規模トレーニングデータの単語を暗黙的に関連付けることを学習する。 テキストモダリティ内のリッチな意味的構造と構文的構造は、監督の源として見過ごされている。 階層的構造化学習(HIST)は、追加の人間のアノテーションを使わずに、空間的視覚言語アライメントを強化する。
  論文  参考訳（メタデータ） (2024-12-11T05:36:18Z)
• Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
  我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。 我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-05T18:52:00Z)
• Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
  画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。 双曲型視覚言語モデルのための構成的包摂学習を提案する。 数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T14:12:50Z)
• A Simple Framework for Open-Vocabulary Zero-Shot Segmentation [50.58626342189163]
  SimZSSはオープン語彙のZero-Shotセグメンテーションのためのフレームワークである。 テキストと言語知識の離散的な性質を利用して、字幕内の局所的な概念をピンポイントする。 SimZSSは,8つのベンチマークデータセットのうち7つについて,15分以内で最先端の結果を達成している。
  論文  参考訳（メタデータ） (2024-06-23T11:57:08Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。