論文の概要: Probing the Geometry of Color Representations in Multilingual Language Models
- arxiv url: http://arxiv.org/abs/2610.18331v1
- Date: Tue, 13 Oct 2026 13:06:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:21:10.430752
- Title: Probing the Geometry of Color Representations in Multilingual Language Models
- Title（参考訳）: 多言語言語モデルにおける色表現の幾何学
- Abstract要約: 多言語モデルでは、色に対する普遍的な内部幾何学を学びます。
色表現を2つの幾何学的軸に分解する: (P1) 知覚色空間へのアライメントと (P2) 交叉言語対称性。
テキストのみのLMは、普遍的な色知覚幾何学ではなく、普遍的な色認識幾何学を学習し、知覚構造が言語モデルに保存されているか診断する。
- 参考スコア（独自算出の注目度）: 8.52292388122983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Do multilingual language models learn a universal internal geometry for color, and is it perceptually grounded or primarily linguistic? We decompose color representations into two geometric axes: (P1) alignment to perceptual color space, and (P2) cross-lingual symmetry. Analyzing layerwise embeddings across models and multilingual datasets, we find that perceptual grounding is weak: alignment to CIE-LAB peaks in intermediate layers, then collapses toward output layers. Cross-lingual symmetry degrades with depth, suggesting later layers encode language-specific structure. Functionally, we show that geometric properties predict task performance: models achieve 96.7% accuracy on color classification at layers where P1 alignment peaks, with P1 alignment (r=0.70) significantly correlating with downstream capabilities. Our results reveal a dissociation: text-only LMs learn universal color-language geometry, not universal color-perception geometry, providing diagnostics for where perceptual structure is preserved in language models.
- Abstract（参考訳）: 多言語言語モデルは色に対する普遍的な内部幾何学を学習するだろうか。
色表現を2つの幾何学的軸に分解する: (P1) 知覚色空間へのアライメントと (P2) 交叉言語対称性。
モデルと多言語データセット間の階層的な埋め込みを分析すると、知覚的グラウンドディングは弱く、CIE-LABのピークへのアライメントは中間層で行われ、出力層に向かって崩壊する。
言語間の対称性は深さとともに劣化し、後続の層が言語固有の構造をコードしていることを示唆する。
モデルでは,P1アライメントピークの層における色分類において96.7%の精度が達成され,P1アライメント(r=0.70)は下流機能に大きく関連している。
テキストのみのLMは、普遍的な色知覚幾何学ではなく、普遍的な色認識幾何学を学習し、知覚構造が言語モデルに保存されているか診断する。
関連論文リスト
- Do LLMs differentiate linguistic traits internally?: A layer-wise analysis [0.0]
Llama-3.2-1B と Gemma-3-1B-PT の2つの等サイズの事前訓練モデルに対して,層単位での表現解析を行った。
その結果,同じ能力のモデルでも,言語情報を根本的に異なる方法で整理できることが示唆された。
論文 参考訳（メタデータ） (2026-10-10T22:28:45Z) - Geoparsing: Diagram Parsing for Plane and Solid Geometry with a Unified Formal Language [60.70116693224378]
我々は平面と固体の幾何学を統合した統一形式言語を設計し、幾何学構造と意味関係を包括的に網羅する。
GDP-29Kは,実世界の様々な情報源から収集した20k平面と9k固体形状のサンプルからなる大規模データセットである。
論文 参考訳（メタデータ） (2026-04-13T15:09:56Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。
提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-12-01T16:01:41Z) - How Language Directions Align with Token Geometry in Multilingual LLMs [1.0312968200748118]
我々は6つの多言語LLMについて包括的調査を行い、268の変圧器層を網羅した。
以上の結果から,第1変圧器ブロック内で言語情報が急激に分離されることが示唆された。
中国の総合モデルは16.43%のZH Match@Peakを達成する一方、英語中心のモデルは3.90%しか達成しない。
論文 参考訳（メタデータ） (2025-11-16T16:36:56Z) - Echoes of BERT: Do Modern Language Models Rediscover the Classical NLP Pipeline? [4.991808275998526]
従来のBERTologyに基づいて、古典的アーキテクチャ(BERT, DeBERTa, GPT-2)から現代の大規模言語モデル(Pythia, OLMo-2, Gemma-2, Qwen2.5, Llama-3.1)にまたがる25のモデルを分析する。
階層的な組織は現代のモデルに留まり、初期レイヤは構文をキャプチャし、中間レイヤはセマンティクスとエンティティレベルの情報を扱い、後のレイヤは談話現象をエンコードしている。
語彙情報は初期層で直線的に集中するが、ネットワークでは非線形に深くなっているのに対して、屈折情報はすべての層で直線的にアクセス可能である。
論文 参考訳（メタデータ） (2025-06-02T18:01:56Z) - Perceptual Structure in the Absence of Grounding for LLMs: The Impact of
Abstractedness and Subjectivity in Color Language [2.6094835036012864]
定義色空間と言語モデルで定義される特徴空間との間にはかなりの整合性があることが示される。
その結果,色空間のアライメントはモノレキセミックで実用的な色記述を保ちつつも,実際の言語的利用の要素を示す例の存在感は著しく低下することがわかった。
論文 参考訳（メタデータ） (2023-11-22T02:12:36Z) - Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。
本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。
適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文 参考訳（メタデータ） (2020-09-10T03:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。