論文の概要: What can we learn from signals and systems in a transformer? Insights for probabilistic modeling and inference architecture

• arxiv url: http://arxiv.org/abs/2508.20211v1
• Date: Wed, 27 Aug 2025 18:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.709852
• Title: What can we learn from signals and systems in a transformer? Insights for probabilistic modeling and inference architecture
• Title（参考訳）: 変圧器の信号やシステムから何が学べるか?確率論的モデリングと推論アーキテクチャの視点
• Authors: Heng-Sheng Chang, Prashant G. Mehta,
• Abstract要約: 本稿では,変圧器の信号を条件付き測度の代理として解釈する確率モデルを提案する。 モデルが隠れマルコフモデルである特別な場合、固定点更新の明示的な形式が記述される。
• 参考スコア（独自算出の注目度）: 0.5801044612920815
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the 1940s, Wiener introduced a linear predictor, where the future prediction is computed by linearly combining the past data. A transformer generalizes this idea: it is a nonlinear predictor where the next-token prediction is computed by nonlinearly combining the past tokens. In this essay, we present a probabilistic model that interprets transformer signals as surrogates of conditional measures, and layer operations as fixed-point updates. An explicit form of the fixed-point update is described for the special case when the probabilistic model is a hidden Markov model (HMM). In part, this paper is in an attempt to bridge the classical nonlinear filtering theory with modern inference architectures.
• Abstract（参考訳）: 1940年代、ウィナーは線形予測器を導入し、過去のデータを線形に組み合わせることで将来の予測を計算した。 変換器は、過去のトークンを非線形に組み合わせて次トーケン予測を計算する非線形予測器である。 本論では,変圧器の信号を条件付き測度の代理として解釈し,固定点更新として層演算を行う確率論的モデルを提案する。 確率モデルが隠れマルコフモデル(HMM)である場合、固定点更新の明示的な形式を記述する。 本稿は,古典的非線形フィルタリング理論を現代的な推論アーキテクチャにブリッジする試みである。

関連論文リスト

• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Exploring Local Explanations of Nonlinear Models Using Animated Linear Projections [5.524804393257921]
  eXplainable AI(XAI)を使用して、モデルが予測器を使用して予測に到達する方法を示す。 予測器間の相互作用が変数重要度推定にどのように影響するかを理解するために,LVAを線形射影に変換することができる。 このアプローチは、分類学的(ペンギン種、チョコレートタイプ)と定量的(靴と足の給与、住宅価格)の応答モデルから例を示します。
  論文  参考訳（メタデータ） (2022-05-11T09:11:02Z)
• Bayesian Inference with Nonlinear Generative Models: Comments on Secure Learning [29.818395770651865]
  この研究は非線形生成モデルとその秘密ポテンシャルに注意を向けることを目的としている。 逆確率問題における正規化クロスエントロピーを導出するためにレプリカ法を導出する。 通信路の秘密化を実現するセキュアな符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-01-19T08:29:53Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。