論文の概要: Vision Transformers Learn Word Meaning from Images Alone

• arxiv url: http://arxiv.org/abs/2610.13252v1
• Date: Fri, 09 Oct 2026 09:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.48796
• Title: Vision Transformers Learn Word Meaning from Images Alone
• Title（参考訳）: 視覚変換器は画像から単語の意味を学習する
• Abstract要約: 単語画像と一致制御の差分を埋め込むことから単語表現を導出する。 同じ業界グループ内のブランド名と、同じセマンティックドメインの名詞が一致していることに気付きました。 我々の知る限り、DINOv3-HとDINOv3-7Bは、レンダリングされた単語に対して実質的な意味構造を示す最初の自己教師型視覚モデルである。
• 参考スコア（独自算出の注目度）: 5.094899561910569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a vision model learn what words mean from pixels alone? We show that the two largest DINOv3 vision transformers organize words rendered in images by word meaning, despite being pretrained using self-supervision on images only, without paired captions, class labels, or other language supervision. We derive word representations from embedding differences between word images and matched controls, then test whether semantically related words are neighbors within each model's embedding space, while controlling for spelling similarity. We find that brand names in the same industry group together, as do nouns from the same semantic domain. Country-capital pairs exhibit consistent vector offsets, similarly to word embeddings trained on text. These word representations also align with the representations of the visual object categories they name. DINOv3-H and DINOv3-7B are, to our knowledge, the first self-supervised vision models to show substantial semantic structure for rendered words. Comparisons with text and speech encoders reveal shared structure among representations of the same words. Contrastive alignment with either encoder further strengthened DINOv3-H's word-level semantic structure, while leaving the other finetuned vision models largely unchanged. Image-only training can therefore teach vision models not just what words look like, but also how their meanings relate.
• Abstract（参考訳）: ビジョンモデルは、ピクセル単独で単語の意味を学ぶことができるのか? 2つの大きなDINOv3ヴィジュアルトランスフォーマーは、ペアキャプションやクラスラベル、その他の言語を使わずに、画像のみの自己スーパービジョンを用いて事前訓練されているにもかかわらず、単語の意味によって画像に表現された単語を整理する。 単語表現は、単語画像と一致した制御の相違点を埋め込むことから導出し、各モデルの埋め込み空間内で意味的関連語が隣り合うかどうかを検証し、綴りの類似性を制御した。 同じ業界グループ内のブランド名と、同じセマンティックドメインの名詞が一致していることに気付きました。 国と首都のペアは、テキストで訓練された単語埋め込みと同様、一貫したベクトルオフセットを示す。 これらの単語表現は、彼らが命名した視覚オブジェクトカテゴリの表現とも一致している。 我々の知る限り、DINOv3-HとDINOv3-7Bは、レンダリングされた単語に対して実質的な意味構造を示す最初の自己教師型視覚モデルである。 テキストエンコーダと音声エンコーダを比較すると、同じ単語の表現間で共有構造が明らかになる。 いずれのエンコーダとのコントラストアライメントにより、DINOv3-Hのワードレベルのセマンティック構造はさらに強化され、他の微調整された視覚モデルはほとんど変更されなかった。 したがって、画像のみのトレーニングは、言葉がどんなものかだけでなく、その意味がどう関連しているかを視覚モデルに教えることができる。

関連論文リスト

• Connecting Speech to Words through Images [23.312539472103566]
  本稿では,画像と音声記述のみを用いて,単語の語彙を視覚的に構築する手法を提案する。 音声単語の検索とキーワードスポッティング実験において、提案手法はより解釈可能でありながら強力なニューラルネットワークよりも優れている。
  論文  参考訳（メタデータ） (2026-06-15T14:50:42Z)
• Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models [4.5497948012757865]
  両モデルタイプの中間層から後期層にアライメントピークが存在することが判明した。 画像キャプチャマッチの人間の好みは、すべての視覚言語モデルペアの埋め込み空間に反映される。
  論文  参考訳（メタデータ） (2025-09-25T05:16:28Z)
• RealCustom++: Representing Images as Real Textual Word for Real-Time Customization [56.30487886962172]
  テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。 既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。 提案するRealCustom++は,非コンフリクトな実単語で対象を表現し,まずコヒーレントなガイダンス画像とそれに対応する主題マスクを生成する。
  論文  参考訳（メタデータ） (2024-08-19T07:15:44Z)
• The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations [3.4668147567693453]
  分割される単語の表現の質は、しばしば、必ずしも、既知の単語の埋め込みの質よりも悪いとは限らない。 分析の結果, 単語の表現の質は, 単語の埋め込みよりも必ずしも悪くはないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-22T15:04:24Z)
• Self-supervised Cross-view Representation Reconstruction for Change Captioning [113.08380679787247]
  変更キャプションは、類似したイメージのペアの違いを記述することを目的としている。 その主な課題は、視点変化によって引き起こされる擬似変化の下で、安定した差分表現を学習する方法である。 自己教師型クロスビュー表現再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-28T09:28:50Z)
• I2DFormer: Learning Image to Document Attention for Zero-Shot Image Classification [123.90912800376039]
  オンラインテキスト文書(例えばウィキペディア)には、オブジェクトクラスに関する豊富な視覚的記述が含まれている。 画像や文書のエンコードを共同で学習するトランスフォーマーベースのZSLフレームワークであるI2DFormerを提案する。 提案手法は,画像領域に文書語を接地可能な高解釈可能な結果をもたらす。
  論文  参考訳（メタデータ） (2022-09-21T12:18:31Z)
• Comprehending and Ordering Semantics for Image Captioning [124.48670699658649]
  我々はトランスフォーマー型構造,すなわちComprehending and Ordering Semantics Networks (COS-Net) の新たなレシピを提案する。 COS-Netは、豊富なセマンティックコンプレッディングと学習可能なセマンティックオーダリングプロセスを単一のアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2022-06-14T15:51:14Z)
• Evaluating language-biased image classification based on semantic representations [13.508894957080777]
  人間は、画像-ワード干渉として知られる単語埋め込み画像に対して、言語バイアスの画像認識を示す。 人間と同様、最近の人工モデルはテキストや画像、例えばOpenAI CLIPで共同で訓練されており、言語バイアスの画像分類を示している。
  論文  参考訳（メタデータ） (2022-01-26T15:46:36Z)
• Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding [59.8167502322261]
  本稿では,エンコーダ・デコーダ・トランスフォーマアーキテクチャに基づくワンステージ視覚グラウンドネットワークであるWord2Pixを提案する。 クエリ文からの各単語の埋め込みは、個別に視覚画素に参画することで同様に処理される。 提案されたWord2Pixは、既存のワンステージメソッドよりも顕著なマージンで優れている。
  論文  参考訳（メタデータ） (2021-07-31T10:20:15Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。