論文の概要: Token embeddings violate the manifold hypothesis

• arxiv url: http://arxiv.org/abs/2504.01002v2
• Date: Wed, 28 May 2025 14:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.638378
• Title: Token embeddings violate the manifold hypothesis
• Title（参考訳）: トーケン埋め込みは多様体仮説に反する
• Authors: Michael Robinson, Sourya Dey, Tony Chiang,
• Abstract要約: 各トークン周辺の近傍が、ヌル仮説として比較的平坦で滑らかな構造を持つと仮定する新しい統計テストを示す。 したがって、この証明はトークン部分空間がファイバーバンドルではなく、したがって多様体でもないことを示唆している。
• 参考スコア（独自算出の注目度）: 1.5621144215664768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A full understanding of the behavior of a large language model (LLM) requires our understanding of its input token space. If this space differs from our assumptions, our understanding of and conclusions about the LLM will likely be flawed. We elucidate the structure of the token embeddings both empirically and theoretically. We present a novel statistical test assuming that the neighborhood around each token has a relatively flat and smooth structure as the null hypothesis. Failing to reject the null is uninformative, but rejecting it at a specific token $\psi$ implies an irregularity in the token subspace in a $\psi$-neighborhood, $B(\psi)$. The structure assumed in the null is a generalization of a manifold with boundary called a \emph{smooth fiber bundle} (which can be split into two spatial regimes -- small and large radius), so we denote our new hypothesis test as the ``fiber bundle hypothesis.'' Failure to reject the null hypothesis is uninformative, but rejecting it at $\psi$ indicates a statistically significant irregularity at $B(\psi)$. By running our test over several open-source LLMs, each with unique token embeddings, we find that the null is frequently rejected, and so the evidence suggests that the token subspace is not a fiber bundle and hence also not a manifold. As a consequence of our findings, when an LLM is presented with two semantically equivalent prompts, if one prompt contains a token implicated by our test, the response to that prompt will likely exhibit less stability than the other.
• Abstract（参考訳）: 大規模言語モデル(LLM)の振る舞いを完全に理解するには,入力トークン空間の理解が必要である。 この空間が我々の仮定と異なる場合、LLMに関する我々の理解と結論は、おそらく欠陥があるだろう。 トークンの埋め込み構造を経験的かつ理論的に解明する。 各トークン周辺の近傍が、ヌル仮説として比較的平坦で滑らかな構造を持つと仮定する新しい統計テストを示す。 null を拒否できないことは非形式的であるが、特定のトークン $\psi$ で拒否することは、$\psi$-neighborhood, $B(\psi)$ のトークン部分空間の不規則を意味する。 ヌルに仮定される構造は、境界が \emph{smooth fiber bundle} (これは小半径と大半径の2つの空間的条件に分けられる)と呼ばれる多様体の一般化である。 しかし$\psi$で拒絶することは統計的に有意な不規則性を$B(\psi)$で示している。 いくつかのオープンソース LLM 上で、それぞれユニークなトークン埋め込みを持つテストを実行することで、null が頻繁に拒否されることが分かるので、トークン部分空間はファイバーバンドルではなく、したがって多様体でもないことが証明されている。 その結果,LLMに意味論的に等価な2つのプロンプトが提示された場合,一方のプロンプトが我々のテストで示唆されたトークンを含む場合,そのプロンプトに対する応答は他方よりも安定性が低い可能性が示唆された。

関連論文リスト

• Demystifying Singular Defects in Large Language Models [61.98878352956125]
  大規模言語モデル(LLM)では、ハイノームトークンの根本原因は未解明のままである。 理論的な洞察と経験的検証の両方を、近年のモデルで提供します。 量子化方式の改良とLCMシグネチャの設計の2つの実用的応用について述べる。
  論文  参考訳（メタデータ） (2025-02-10T20:09:16Z)
• Forking Paths in Neural Text Generation [14.75166317633176]
  テキスト生成の個々のトークンにまたがる不確実性のダイナミクスを表現するための新しいアプローチを開発する。 4つの領域にわたる7つのタスクにおけるLLM応答の解析に本手法を用いる。 句読点などの驚くべきものを含む、トークンをフォークする多くの例を見出す。
  論文  参考訳（メタデータ） (2024-12-10T22:57:57Z)
• Non-Halting Queries: Exploiting Fixed Points in LLMs [4.091772241106195]
  我々は、自動回帰モデルの固定点を利用して、決して停止しないクエリを作成する新しい脆弱性を導入します。 非半減期異常が出現する条件を厳密に分析する。 ベースアンアライメントモデルで実施された多くの実験において,非ハーフティングクエリを実演する。
  論文  参考訳（メタデータ） (2024-10-08T18:38:32Z)
• Where is the signal in tokenization space? [31.016041295876864]
  大規模言語モデル (LLM) は通常、テキストを決定論的に標準的なトークンシーケンスにエンコードするトークン化器を伴って出荷される。 本稿では,非標準トークン化について検討する。
  論文  参考訳（メタデータ） (2024-08-16T05:56:10Z)
• VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
  フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。 本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:41:39Z)
• A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
  本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。 我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
  論文  参考訳（メタデータ） (2024-06-16T19:22:53Z)
• To Believe or Not to Believe Your LLM [51.2579827761899]
  大規模言語モデル(LLM)における不確実性定量化について検討する。 疫学的な不確実性が大きい場合にのみ確実に検出できる情報理論の指標を導出する。 定式化の利点を実証する一連の実験を行う。
  論文  参考訳（メタデータ） (2024-06-04T17:58:18Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• On Learning Latent Models with Multi-Instance Weak Supervision [57.18649648182171]
  本稿では,複数の入力インスタンスに関連付けられた遷移関数$sigma$ラベルによって,教師信号が生成される弱い教師付き学習シナリオについて考察する。 我々の問題は、潜在的な構造学習やニューロシンボリックな統合など、さまざまな分野で満たされている。
  論文  参考訳（メタデータ） (2023-06-23T22:05:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。