論文の概要: Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations

• arxiv url: http://arxiv.org/abs/2507.04886v1
• Date: Mon, 07 Jul 2025 11:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.395911
• Title: Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
• Title（参考訳）: Token Embeddings以外の創発的セマンティクス:凍結したビジュアルUnicode表現を持つトランスフォーマーLM
• Authors: A. Bochkov,
• Abstract要約: 埋め込み層が完全に凍結されたTransformerモデルを構築します。 我々の手法は、Unicode中心の新しいトークン化器を含む任意のトークン化器と互換性がある。 トレーニング可能なセマンティックな埋め込みがないにもかかわらず、私たちのモデルは収束し、一貫性のあるテキストを生成します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the locus of semantic representation in large language models (LLMs) is crucial for interpretability and architectural innovation. The dominant paradigm posits that trainable input embeddings serve as foundational "meaning vectors." This paper challenges that view. We construct Transformer models where the embedding layer is entirely frozen, with vectors derived not from data, but from the visual structure of Unicode glyphs. These non-semantic, precomputed visual embeddings are fixed throughout training. Our method is compatible with any tokenizer, including a novel Unicode-centric tokenizer we introduce to ensure universal text coverage. Despite the absence of trainable, semantically initialized embeddings, our models converge, generate coherent text, and, critically, outperform architecturally identical models with trainable embeddings on the MMLU reasoning benchmark. We attribute this to "representational interference" in conventional models, where the embedding layer is burdened with learning both structural and semantic features. Our results indicate that high-level semantics are not inherent to input embeddings but are an emergent property of the Transformer's compositional architecture and data scale. This reframes the role of embeddings from meaning containers to structural primitives. We release all code and models to foster further research.
• Abstract（参考訳）: 大規模言語モデル(LLM)における意味表現の軌跡を理解することは、解釈可能性とアーキテクチャの革新に不可欠である。 トレーニング可能な入力埋め込みが基本的「ベクトル」を意味するという支配的なパラダイムが提案されている。 この論文はその見解に異議を唱える。 組込み層を完全に凍結したTransformerモデルを構築し,データではなくUnicodeグリフの視覚構造からベクトルを導出する。 これらの非セマンティックで事前計算された視覚埋め込みは、トレーニングを通して固定される。 我々の手法は、Unicode中心の新しいトークン化器を含む任意のトークン化器と互換性があり、普遍的なテキストカバレッジを確保するために導入する。 トレーニング可能でセマンティックに初期化された埋め込みがないにもかかわらず、我々のモデルは収束し、一貫性のあるテキストを生成し、重要なことに、MMLU推論ベンチマークにトレーニング可能な埋め込みを組み込んだアーキテクチャ上の同一モデルより優れている。 従来のモデルでは、埋め込み層は構造的特徴と意味的特徴の両方を学習することに重きを置いている。 以上の結果から,高レベルのセマンティクスは入力埋め込みに固有のものではなく,トランスフォーマーの合成アーキテクチャとデータスケールの創発的な特性であることが示唆された。 これにより、コンテナの意味から構造的プリミティブへの埋め込みの役割が再編成される。 さらなる研究を促進するために、すべてのコードとモデルをリリースします。

関連論文リスト

• Harnessing the Universal Geometry of Embeddings [8.566825612032359]
  本稿では,テキスト埋め込みを1つのベクトル空間から別のベクトル空間に変換する最初の手法を提案する。 我々の翻訳は、異なるアーキテクチャ、パラメータ数、トレーニングデータセットを持つモデルペア間で高いコサイン類似性を実現する。
  論文  参考訳（メタデータ） (2025-05-18T20:37:07Z)
• Masked Completion via Structured Diffusion with White-Box Transformers [23.07048591213815]
  大規模教師なし表現学習に適用可能なホワイトボックス設計パラダイムの最初のインスタンス化を提供する。 我々は、拡散、圧縮、および(マスクされた)完了の基本的な接続を利用して、ディープトランスフォーマーのようなマスク付きオートエンコーダアーキテクチャを導出する。 CRATE-MAEは、大規模データセット上で非常に有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-03T04:23:01Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
  トランスアーキテクチャにおけるアライメント方式を初めて導入する。 本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。 AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
  論文  参考訳（メタデータ） (2021-04-02T08:00:25Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis [194.1452124186117]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 我々のECGANは最先端の手法よりもはるかに優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-03-31T01:23:21Z)
• Stacked DeBERT: All Attention in Incomplete Data for Text Classification [8.900866276512364]
  変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。 本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-01-01T04:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。