論文の概要: Support Tokens, Stability Margins, and a New Foundation for Robust LLMs

• arxiv url: http://arxiv.org/abs/2602.22271v1
• Date: Wed, 25 Feb 2026 08:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.342503
• Title: Support Tokens, Stability Margins, and a New Foundation for Robust LLMs
• Title（参考訳）: ロバストLLMのための新しい基盤
• Authors: Deepak Agarwal, Dhyey Dharmendrakumar Mavani, Suyash Gupta, Karthik Sethuraman, Tejas Dharamsi,
• Abstract要約: 我々は,現代基盤モデルのバックボーンである因果自己注意変換器を確率的枠組みで再解釈する。 注意が不調になることを示し、古典的サポートベクトルマシンと類似した余分な解釈を導いた。 標準LLMトレーニングに最小限の修正しか必要としないMAP推定対象を提案する。
• 参考スコア（独自算出の注目度）: 1.429795922604976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention is usually described as a flexible, content-adaptive way to mix a token with information from its past. We re-interpret causal self-attention transformers, the backbone of modern foundation models, within a probabilistic framework, much like how classical PCA is extended to probabilistic PCA. However, this re-formulation reveals a surprising and deeper structural insight: due to a change-of-variables phenomenon, a barrier constraint emerges on the self-attention parameters. This induces a highly structured geometry on the token space, providing theoretical insights into the dynamics of LLM decoding. This reveals a boundary where attention becomes ill-conditioned, leading to a margin interpretation similar to classical support vector machines. Just like support vectors, this naturally gives rise to the concept of support tokens. Furthermore, we show that LLMs can be interpreted as a stochastic process over the power set of the token space, providing a rigorous probabilistic framework for sequence modeling. We propose a Bayesian framework and derive a MAP estimation objective that requires only a minimal modification to standard LLM training: the addition of a smooth log-barrier penalty to the usual cross-entropy loss. We demonstrate that this provides more robust models without sacrificing out-of-sample accuracy and that it is straightforward to incorporate in practice.
• Abstract（参考訳）: セルフアテンションは通常、トークンを過去の情報と混同するフレキシブルでコンテントアダプティブな方法として説明される。 我々は,現代基盤モデルのバックボーンである因果自己注意変換器を,古典的PCAが確率的PCAにどのように拡張されるかのような確率的枠組みで再解釈する。 しかし、この再定式化は驚くべき、より深い構造的な洞察を浮き彫りにしている。 これによりトークン空間上の高度に構造化された幾何学が導き出され、LLM復号の力学に関する理論的洞察を与える。 これにより、注意が不調和になる境界が明らかになり、古典的なサポートベクトルマシンと類似した余分な解釈が導かれる。 サポートベクタと同じように、これは当然、サポートトークンの概念を生み出します。 さらに, LLM はトークン空間のパワーセット上の確率的過程として解釈でき, 厳密な確率的枠組みを提供する。 本稿では,通常のLLMトレーニングに最小限の変更しか必要とせず,通常のクロスエントロピー損失に対してスムーズな対数バリアペナルティを付加したMAP推定手法を提案する。 サンプル外精度を犠牲にすることなく、より堅牢なモデルを提供し、実際に組み込むことが簡単であることを実証する。

関連論文リスト

• Sculpting Latent Spaces With MMD: Disentanglement With Programmable Priors [30.182736043604304]
  最大平均離散性(MMD)に基づく手法であるProgrammable Prior Frameworkを導入する。 我々の研究は、表現工学の基礎となるツールを提供し、モデル識別可能性と因果推論のための新しい道を開く。
  論文  参考訳（メタデータ） (2025-10-13T21:26:01Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。