論文の概要: Emergence of the transformer architecture as the score of entropic laws of random measures

• arxiv url: http://arxiv.org/abs/2610.39614v1
• Date: Thu, 29 Oct 2026 08:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.064985
• Title: Emergence of the transformer architecture as the score of entropic laws of random measures
• Title（参考訳）: ランダム測度のエントロピー法則のスコアとしての変圧器アーキテクチャの創発
• Abstract要約: 自然言語の自然な統計モデルにおいて,最後のトーケン法則のスコアとしてトランスフォーマーアーキテクチャが出現することを示す。 また,マルチヘッドアテンション,重み付きアンエンベディング,残余ブロックの読み出しについても検討した。
• 参考スコア（独自算出の注目度）: 0.30458514384586405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that the transformer architecture emerges as the score of last-token laws in a natural statistical model of language, where sentences are empirical measures of tokens, a language is a law on $P(S^d)$, and our prior belief is that sentences carry no structure at all. By the maximum-entropy principle, we select the law closest to this prior in relative entropy among those reproducing an observed sentence-level statistic. We discuss the relevance of the statistic in the posterior interaction between tokens and we build a statistic, able to capture that interaction, with Luce's choice axiom truncated at the lowest relational order. This procedure gives the softmax choice rule, with the attention cross-moment as its mean parameter. The query--key matrix is then the Lagrange multiplier of a maximum-entropy problem inside each sentence, and the value matrix the multiplier of the constraint over the language, so that the two are untied. Under the optimal entropic law we then show that a transformer head appears in the score of the last-token law. For ordered sentences, causal masking follows from the masked reference choice rule, and with a next-token cross-moment the score equals one causally masked attention head. We also discuss multi-head attention, weight-tied unembedding, and a heuristic reading of residual blocks as projected Langevin steps.
• Abstract（参考訳）: 文がトークンの実証測度であり、言語は$P(S^d)$の法則であり、文はいかなる構造も持たないという我々の以前の信念が示している。 最大エントロピー原理により、観測された文レベル統計を再現する者のうち、相対エントロピーにおいて、この先行法則に最も近いものを選択する。 トークン間の後続相互作用における統計学の関連性について議論し,その相互作用を捉えることのできる統計学を構築した。 この手順は、アテンションクロスモーメントを平均パラメータとするソフトマックス選択規則を与える。 クエリキー行列は各文内の最大エントロピー問題のラグランジュ乗算器であり、値行列は言語上の制約の乗算器である。 最適エントロピー法則の下で、最後のトーケン法則のスコアにトランスフォーマーヘッドが現れることを示す。 順序付き文の場合、因果マスキングは仮面参照選択規則に従っており、次点のクロスモーメントでは、スコアは1つの因果マスキングされた注意ヘッドに等しい。 また,マルチヘッドアテンション,重み付きアンエンベディング,残余ブロックのヒューリスティック読解についても検討した。

関連論文リスト

• A Bethe-Ansatz Source of Early Token Correlations: A marginal-preserving construction for parallel proposals [0.0]
  並列トークンの提案には、単に正確なトークン限界ではなく、共同法則が必要である。 我々は周期的なXXZ鎖から座標-ベーテ-アンザッツ法則を構築する。
  論文  参考訳（メタデータ） (2026-10-12T13:38:31Z)
• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Scaling limit of the Random Language Model [0.0]
  我々は、文脈自由文法のアンサンブルであるランダム言語モデル(RLM)の理論を開発する。 その結果, RLM の凝縮遷移は臨界値$x_c=1/8$ で表され, 規則の使用法は集中し, 言語統計学はコーパス長に非自明な依存度を得ることがわかった。 これらの体制全体において、異なる規則、エントロピーおよび関連する可観測物の数に対する明示的なスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2026-06-26T14:00:30Z)
• Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality [52.424255020469595]
  トランスフォーマーは、コンテント順応可能な検索とコンテキスト、原則として長さを活用できる能力を通じてエクササイズする。 確率尺度のレベルで連想記憶をリキャストし、コンテキストを無拘束トークン上の分布として扱う。 浅度測度理論変換器は入力密度のスペクトル仮定に基づいてリコール・アンド・予測マップを学習することを示す。
  論文  参考訳（メタデータ） (2026-02-02T09:34:17Z)
• Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium [0.0]
  大規模言語モデルでの復号化はしばしばスコアリングトークンとソフトマックスによる正規化と表現される。 我々は、このステップの自己完結した幻覚を、確率単純性上の制約付き変分原理として与える。 固定された文脈と温度に対して、次トーケン分布は単純体内部の滑らかな軌道を辿り、ソフトマックス平衡に収束することを示す。
  論文  参考訳（メタデータ） (2025-08-28T20:00:22Z)
• Transformers are Universal In-context Learners [21.513210412394965]
  深層変換器は、コンパクトなトークン領域を均一に、任意の精度で連続的なコンテキスト内マッピングを近似できることを示す。 我々の結果の重要な側面は、既存の結果と比較して、固定精度では、単一変圧器が任意の(無限の)トークン数で動作可能であることである。
  論文  参考訳（メタデータ） (2024-08-02T16:21:48Z)
• Next-token prediction capacity: general upper bounds and a lower bound for transformers [24.31928133575083]
  本稿では,デコーダのみの変換器がコンテキストシーケンスに対して次トーケン分布を補間可能であることを示す。 暗記のための最小限のパラメータは、エントロピー下界へのモデルを訓練するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:09:41Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。