論文の概要: To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

• arxiv url: http://arxiv.org/abs/2604.21632v1
• Date: Thu, 23 Apr 2026 12:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.502594
• Title: To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning
• Title（参考訳）: 目に見えないもの:シンボリック推論における変圧器の一般化能力について
• Authors: Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári,
• Abstract要約: 本稿では,デコーダのみの変圧器モデルによる抽象的シンボリック推論機能について検討する。 特定の表現的崩壊も重要な役割を持ち、未確認トークンの埋め込みはトレーニング中にほぼ同じベクトルに崩壊する。
• 参考スコア（独自算出の注目度）: 34.300040798165774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the ability of decoder-only transformer models to perform abstract symbolic reasoning; specifically solving propositional logic reasoning problems given in-context. Previous work demonstrated that models fail to generalize to problems involving variable names that were not observed during training, and it was shown that one reason behind this is the difficulty of copying (or generating) unseen tokens. We show both theoretically and empirically that a particular representational collapse also has a crucial role: the unembeddings (last-layer weights) of unseen tokens collapse to nearly the same vector during training. The collapse makes distinguishing multiple unseen variables difficult for the model (especially when the embedding and unembedding parameters are shared), and provides a mechanistic explanation for the effectiveness of existing heuristic interventions like "active forgetting", which periodically reset the token (un)embeddings. Based on these observations, we devise a combination of techniques, involving a small architecture change facilitating copying, data diversity, and freezing or resetting (un)embeddings, that achieves generalization to unseen tokens. We support our claims with extensive controlled experiments on propositional logic reasoning problems. Beyond synthetic experiments, we also observe evidence of (un)embedding collapse in the open-weight models in the Gemma 3 family, which includes 99 unused tokens reserved for downstream use. Empirically we find that the correlated embeddings of these tokens are a poor initialization for finetuning applications.
• Abstract（参考訳）: 本稿では,デコーダのみのトランスフォーマーモデルを用いて,抽象的記号推論を行う能力について検討する。 以前の研究では、モデルはトレーニング中に観察されなかった変数名に関する問題に一般化できないことが示されており、その背景にある1つの理由は、目に見えないトークンをコピー(または生成)することの難しさである。 我々は、特定の表現的崩壊も重要な役割を担っていることを理論的にも経験的にも示している: 未確認トークンの非埋め込み(ラスト層重み)は、トレーニング中にほぼ同じベクトルに崩壊する。 この崩壊は、モデルにとって見つからない複数の変数(特に埋め込みパラメータと埋め込みパラメータが共有されている場合)の区別を困難にし、トークン(un)埋め込みを定期的にリセットする「アクティブな忘れ」のような既存のヒューリスティックな介入の有効性を機械論的に説明する。 これらの観測に基づいて、コピー、データの多様性、凍結または再セット(un)埋め込みを容易にする小さなアーキテクチャ変更を含む技術の組み合わせを考案し、未確認トークンへの一般化を実現した。 我々は、命題論理推論問題に関する広範な制御実験により、我々の主張を支持している。 合成実験の他に、下流で使用可能な99個の未使用トークンを含むGemma 3ファミリーのオープンウェイトモデルの崩壊(アン)の証拠も観察する。 経験的に、これらのトークンの相関埋め込みは、微調整アプリケーションには不十分な初期化であることがわかった。

関連論文リスト

• Early Quantization Shrinks Codebook: A Simple Fix for Diversity-Preserving Tokenization [15.662726701547896]
  ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。 本研究は,離散コードブックトークンと連続潜伏埋め込みの間で崩壊表現が観察されるベクトル量子化における崩壊問題について,系統的に検討する。
  論文  参考訳（メタデータ） (2026-03-17T18:32:21Z)
• Names Don't Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning [4.288959596387606]
  現在のニューラルアーキテクチャには、交換可能なトークンを扱うための原則的な方法がない。 本稿では、交換可能なトークンの改名に対して、確実に不変なトランスフォーマーベースのメカニズムを提案する。
  論文  参考訳（メタデータ） (2026-01-30T16:53:01Z)
• In-Context Algebra [25.99258547745488]
  本稿では, トークンが意味を持つ変数であるシーケンス上で, トランスフォーマーを学習して演算を解く際に生じるメカニズムについて検討する。 我々は、特定の代数群要素への記号の割り当てが、ある列から別の列へ変化する新しいタスクを考案する。
  論文  参考訳（メタデータ） (2025-12-18T18:56:50Z)
• Representation Collapsing Problems in Vector Quantization [2.2750239768387255]
  ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。
  論文  参考訳（メタデータ） (2024-11-25T16:32:29Z)
• Attuned to Change: Causal Fine-Tuning under Latent-Confounded Shifts [32.989526411946606]
  遅れた構築されたシフトに適応することは、現代AIにおける中核的な課題である。 1つの実用的障害モードは、構築されたデータに基づいて訓練済みの基礎モデルを微調整するときに発生する。 我々は、因果微調整を識別問題として捉え、入力を低レベルなスプリアス特徴に分解する明示的な因果モデルを示す。
  論文  参考訳（メタデータ） (2024-10-18T11:06:23Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。