論文の概要: Support Tokens, Stability Margins, and a New Foundation for Robust LLMs
- arxiv url: http://arxiv.org/abs/2602.22271v2
- Date: Sun, 01 Mar 2026 22:13:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 15:39:03.917137
- Title: Support Tokens, Stability Margins, and a New Foundation for Robust LLMs
- Title（参考訳）: ロバストLLMのための新しい基盤
- Authors: Deepak Agarwal, Dhyey Dharmendrakumar Mavani, Suyash Gupta, Karthik Sethuraman, Tejas Dharamsi,
- Abstract要約: 現代基礎モデルのバックボーンである因果自己注意変換器を再解釈する。
バリア制約が自己アテンションパラメータに現れる。
これにより、注意が不調になる境界が明らかになる。
- 参考スコア（独自算出の注目度）: 1.429795922604976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-attention is usually described as a flexible, content-adaptive way to mix a token with information from its past. We re-interpret causal self-attention transformers, the backbone of modern foundation models, within a probabilistic framework, much like how classical PCA is extended to probabilistic PCA. However, this re-formulation reveals a surprising and deeper structural insight: due to a change-of-variables phenomenon, a barrier constraint emerges on the self-attention parameters. This induces a highly structured geometry on the token space, providing theoretical insights into the dynamics of LLM decoding. This reveals a boundary where attention becomes ill-conditioned, leading to a margin interpretation similar to classical support vector machines. Analogous to support vectors, this naturally gives rise to the concept of support tokens. Furthermore, we show that LLMs define a consistent stochastic process over (infinite) token sequences, providing a rigorous probabilistic framework for sequence modeling. We propose a Bayesian framework and derive a MAP estimation objective that requires only a minimal modification to standard LLM training: the addition of a smooth log-barrier penalty to the usual cross-entropy loss. We demonstrate that this provides more robust models without sacrificing out-of-sample accuracy and that it is straightforward to incorporate in practice.
- Abstract（参考訳）: セルフアテンションは通常、トークンを過去の情報と混同するフレキシブルでコンテントアダプティブな方法として説明される。
我々は,現代基盤モデルのバックボーンである因果自己注意変換器を,古典的PCAが確率的PCAにどのように拡張されるかのような確率的枠組みで再解釈する。
しかし、この再定式化は驚くべき、より深い構造的な洞察を浮き彫りにしている。
これによりトークン空間上の高度に構造化された幾何学が導き出され、LLM復号の力学に関する理論的洞察を与える。
これにより、注意が不調和になる境界が明らかになり、古典的なサポートベクトルマシンと類似した余分な解釈が導かれる。
サポートベクターと類似するこのことは、サポートトークンの概念を自然に生み出す。
さらに,LLMは(無限の)トークン列に対して一貫した確率過程を定義し,シーケンスモデリングのための厳密な確率的枠組みを提供する。
本稿では,通常のLLMトレーニングに最小限の変更しか必要とせず,通常のクロスエントロピー損失に対してスムーズな対数バリアペナルティを付加したMAP推定手法を提案する。
サンプル外精度を犠牲にすることなく、より堅牢なモデルを提供し、実際に組み込むことが簡単であることを実証する。
関連論文リスト
- Sculpting Latent Spaces With MMD: Disentanglement With Programmable Priors [30.182736043604304]
最大平均離散性(MMD)に基づく手法であるProgrammable Prior Frameworkを導入する。
我々の研究は、表現工学の基礎となるツールを提供し、モデル識別可能性と因果推論のための新しい道を開く。
論文 参考訳（メタデータ） (2025-10-13T21:26:01Z) - Probabilistic Token Alignment for Large Language Model Fusion [100.30692772017238]
大規模言語モデル(LLM)をスクラッチからトレーニングすると、ユニークな機能と強みを持つモデルが得られるが、コストがかかり、しばしば冗長な機能をもたらす。
既存のモデル融合における重要な課題は、手動で定義された語彙のアライメントに依存することである。
PTA-LLM と呼ばれるアライメントのための一般およびソフトマッピングとして確率的トークンアライメント法を提案する。
論文 参考訳（メタデータ） (2025-09-21T23:18:24Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。
本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-12T01:21:17Z) - Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。
これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。
また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
論文 参考訳（メタデータ） (2025-01-06T13:37:13Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - From Self-Attention to Markov Models: Unveiling the Dynamics of
Generative Transformers [41.82477691012942]
本研究では,一連のプロンプトと関連する出力データから1層自己注意モデルを学習する。
まず、自己注意機構とマルコフモデルとの正確なマッピングを確立する。
我々は,自己注意による生成過程が崩壊し,トークンの限られた部分集合をサンプリングする,興味深い勝者とあらゆる現象を特徴付ける。
論文 参考訳（メタデータ） (2024-02-21T03:51:34Z) - Coverage-Validity-Aware Algorithmic Recourse [21.642948522310782]
本稿では,モデルシフトに対するロバスト性を示すモデルに依存しない談話を生成する新しい枠組みを提案する。
筆者らのフレームワークはまず,非線形(ブラックボックス)モデルのカバレッジを意識した線形サロゲートを構築する。
我々の代理は近似超平面を直感的に推し進め、頑健なだけでなく解釈可能なレコースも容易にすることを示した。
論文 参考訳（メタデータ） (2023-11-19T15:21:49Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Self-Reflective Variational Autoencoder [21.054722609128525]
変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。
自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。
実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
論文 参考訳（メタデータ） (2020-07-10T05:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。