論文の概要: A Hub of Short Rows Inflates Intrinsic Dimension Estimation of Token Embeddings

• arxiv url: http://arxiv.org/abs/2608.29702v1
• Date: Sun, 30 Aug 2026 10:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.04836
• Title: A Hub of Short Rows Inflates Intrinsic Dimension Estimation of Token Embeddings
• Title（参考訳）: ショートローのハブが内在次元推定を膨らませるトークン埋め込み
• Abstract要約: トークン埋め込みテーブルは、その起源の近くに短い行のハブを保持する。 測度が集中しているため、トークンは他のトークンよりも中央のクラスタに近い。 その結果、TwoNNのようなID推定器は実IDよりもはるかに高い次元を返す。
• 参考スコア（独自算出の注目度）: 51.736723807086385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A token-embedding table holds a hub of short rows near its origin, and we show that this cluster biases what nearest-neighbor intrinsic-dimension (ID) estimators report. Because of the concentration of measure, a token is closer to the central cluster than to any other token, so its first two neighbors are both hub rows at nearly the same distance. As a result, the ID estimators such as TwoNN return a dimension far above the real ID. Measured one token at a time, dimension is a heavy-tailed distribution. Measured on the full vocabulary, it grows with the model's parameter count. However, when we remove the hub, the heavy tail disappears and the measured dimension collapses to a narrow range for eleven models, from GPT-2 to models such as K3 and GLM-4.7. The hub acts as a switch: a few hundred rows are enough to fully inflate the estimate. We reproduced an experiment stating that the intrinsic dimension (ID) of Pythia's token-embedding table grows with the parameter count, from $27$ to $122$ between 160M and 12B parameters. We show that this result disappears when the hub is removed: the table then reads $10$ to $17$ at every size. The hub contains a subset of the population that under-trained-token detectors flag, but on Pythia the hub that we detected and removed as a whole was updated during training: what seem to characterize these rows is simply their length, not an absence of updates. Finally, we show that normalizing the rows instead of removing them gives the same lower reading.
• Abstract（参考訳）: トークン埋め込みテーブルは、その起源付近に短い行のハブを持ち、このクラスタは、最も近い固有次元(ID)推定器のレポートに偏っていることを示す。 測度が集中しているため、トークンは他のどのトークンよりも中央のクラスタに近いので、最初の2つの隣人はどちらもほぼ同じ距離のハブ行である。 その結果、TwoNNのようなID推定器は実際のIDよりもはるかに高い次元を返す。 1度に1つのトークンを測定すると、次元は重み付き分布である。 完全な語彙に基づいて測定され、モデルのパラメータ数とともに成長する。 しかし、ハブを外すと重みが消え、測定された寸法は、GPT-2 から K3 や GLM-4.7 のようなモデルまで、11 モデルで狭い範囲に崩壊する。 ハブはスイッチとして機能し、数百行の行で見積もりを完全に膨らませることができる。 我々は,Pythiaのトークン埋め込みテーブルの内在次元(ID)が,パラメータ数によって増大することを示す実験を再現した。 ハブが削除されると、この結果が消える。テーブルは、すべてのサイズで10ドルから17ドルを読み取る。 しかしPythiaでは、私たちが検出し、取り除いたハブがトレーニング中に更新された。 最後に、行を削除する代わりに行を正規化することで、同じ低い読み込みが得られることを示す。

関連論文リスト

• Time-Frequency Geometric Cross-Attention for Chunked Vision-Language-Action Models [10.591519354017803]
  ビジョンアクション(VLA)政策における2つの盲点の修復方法を示す。 プリトレーニング済みのVLAを微調整するために、ドロップインモジュールを使用します。 TFGCA が LIBERO を平均で1.5、OOD LIBERO-Plus を+6.3、RoboTwin ドメインのランダム化で+28.5、AgiBot A2 のタスクで+11.67 のタスクで全体の成功率を示す。
  論文  参考訳（メタデータ） (2026-09-09T09:16:49Z)
• CAST: Canonical Approximate Schur Tree for Approximate Cholesky on Graphs [28.99342075394145]
  CAST(Canonical Approximate Schur Tree)を導入する。 すべての実現は接続され、正確にd-1エッジを含むが、選択された各エッジを木非包含確率の逆数で重み付けすることで更新は不偏となる。 結果として得られた更新は未バイアスで接続され、正確に$O(d)$時間にサンプリングでき、正規化されたローカルSchurエラーの第2モーメントに1/$のバインドを満足する。
  論文  参考訳（メタデータ） (2026-09-08T15:12:01Z)
• Variable-Granularity Tokenization for High-Resolution Object Detection [0.0]
  ViT検出器は、学習ステージの前に均一なトークングリッドを固定する。 エンコーダより前の画素から各領域ごとのパッチ粒度を設定できる,トレーニングフリーなトークンライザであるVGTokを紹介する。
  論文  参考訳（メタデータ） (2026-08-27T18:39:32Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions [0.0]
  変圧器の重量分布の診断枠組みとしてWeibull分布を適用した。 SwiGLU/GeLUアクティベーション、プレLN/QK-Norm配置、70M-14Bサイズで共有されるFFNモジュールとアテンション出力プロジェクションW_oが狭帯域に落下することを示す。
  論文  参考訳（メタデータ） (2026-05-17T11:00:59Z)
• Modeling high dimensional point clouds with the spherical cluster model [0.22940141855172033]
  パラメトリッククラスタモデルは、クラスタを定義する点に関する幾何学的な洞察を提供する統計モデルである。 球状クラスターを固定すると厳密な凸が得られるが、滑らかな最適化問題は得られない。 本研究では,2つの主観測値を用いて,次元が$d=9から$d=10,000$までの様々なデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2025-12-26T10:11:57Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Semidefinite programming on population clustering: a global analysis [0.6472434306724609]
  サブガウス分布の混合から引き出された小さいデータサンプルを$n$で分割する問題を考察する。 私たちは、個々のフィーチャが平均的な$gamma$が低い場合に興味を持ち、サンプルを正しく分割するためにできるだけ少数の機能を使用したいと思っています。
  論文  参考訳（メタデータ） (2023-01-01T04:52:25Z)
• Understanding Deep Learning via Decision Boundary [81.49114762506287]
  決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。 アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
  論文  参考訳（メタデータ） (2022-06-03T11:34:12Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Sum-of-norms clustering does not separate nearby balls [49.1574468325115]
  我々は,データセットを一般的な測度に置き換えた,和和クラスタリングの連続的なバージョンを示す。 我々は,離散データポイントの場合においても,新たなクラスタリングの局所的特徴を記述し,証明する。
  論文  参考訳（メタデータ） (2021-04-28T13:35:17Z)
• Quantizing Multiple Sources to a Common Cluster Center: An Asymptotic Analysis [14.048989759890475]
  我々は、$Ld$次元のサンプルを$d$次元のベクトルのデータセットから$Ld$次元のクラスタセンターに結合することで得られる$Ld$次元のサンプルを定量化することを検討する。 クラスタセンターの数が多いレジームにおける平均的性能歪みの式を求める。 元の(ノイズのない)データセットへの忠実さに関して、我々のクラスタリングアプローチは、$Ld$次元ノイズ観測ベクトルを$Ld$次元中心に量子化することに依拠する単純アプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-10-23T17:14:28Z)
• Distribution Matching for Crowd Counting [51.90971145453012]
  アノテーションにガウスを付与することは一般化性能を損なうことを示す。 我々は,群集CoUNTing (DM-Count) における分布マッチングの利用を提案する。 平均絶対誤差(Mean Absolute Error)の観点では、DM-Countは従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-28T04:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。