論文の概要: Interpreting Transformer Architectures as Implicit Multinomial Regression

• arxiv url: http://arxiv.org/abs/2509.04653v1
• Date: Thu, 04 Sep 2025 20:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.406254
• Title: Interpreting Transformer Architectures as Implicit Multinomial Regression
• Title（参考訳）: トランスフォーマーアーキテクチャを暗黙の多項回帰として解釈する
• Authors: Jonas A. Actor, Anthony Gruber, Eric C. Cyr,
• Abstract要約: 固定された多項回帰設定では、潜在特徴よりも最適化することで、注意ブロックによって引き起こされる力学と整合する最適解が得られることを示す。 言い換えれば、変換器による表現の進化は、分類に最適な特徴を回復する軌跡として解釈できる。
• 参考スコア（独自算出の注目度）: 3.2371089062298317
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mechanistic interpretability aims to understand how internal components of modern machine learning models, such as weights, activations, and layers, give rise to the model's overall behavior. One particularly opaque mechanism is attention: despite its central role in transformer models, its mathematical underpinnings and relationship to concepts like feature polysemanticity, superposition, and model performance remain poorly understood. This paper establishes a novel connection between attention mechanisms and multinomial regression. Specifically, we show that in a fixed multinomial regression setting, optimizing over latent features yields optimal solutions that align with the dynamics induced by attention blocks. In other words, the evolution of representations through a transformer can be interpreted as a trajectory that recovers the optimal features for classification.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、ウェイトやアクティベーション、レイヤといった現代の機械学習モデルの内部コンポーネントが、モデル全体の振る舞いを引き起こす方法を理解することを目的としている。 特に不透明なメカニズムは、トランスフォーマーモデルにおける中心的な役割にもかかわらず、その数学的基盤と特徴的多意味性、重ね合わせ、モデル性能といった概念との関係は理解されていないことである。 本稿では,注意機構と多項回帰の新たな関連性を確立する。 具体的には、固定された多重項回帰設定において、潜在特徴を最適化すると、注意ブロックによって誘導される力学と整合する最適解が得られることを示す。 言い換えれば、変換器による表現の進化は、分類に最適な特徴を回復する軌跡として解釈できる。

関連論文リスト

• A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
  本稿では,自由確率理論を用いたトランスフォーマーに基づく言語モデル解析のための形式的演算子理論フレームワークを提案する。 この研究は、理論上は大きな言語モデルにおける構造力学に関する原則的視点を提供する。
  論文  参考訳（メタデータ） (2025-06-19T19:13:02Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers [1.7034813545878589]
  トランスフォーマーモデルは、顕著なインコンテキスト学習(ICL)を示す 我々の研究は、ICLの正確な動的モデルを提供し、複雑なトランスフォーマートレーニングを解析するための理論的基盤ツールを提供する。
  論文  参考訳（メタデータ） (2025-04-17T13:05:33Z)
• Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning [30.781578037476347]
  高度にフレキシブルな非自律型ニューラル常微分方程式(ODE)を用いたトランスフォーマーアーキテクチャのモデリング手法を提案する。 提案モデルでは,ニューラルネットワークによる注目度とフィードフォワードブロックの重みをパラメータ化し,これらの重みを連続層インデックスの関数として表現する。 我々のニューラルODE変換器は、さまざまな構成やデータセットにわたるバニラ変換器に匹敵するパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-03-03T09:12:14Z)
• Variational empirical Bayes variable selection in high-dimensional logistic regression [2.4032899110671955]
  我々は,その新しい,計算効率の良い変分近似を開発した。 そのようなノベルティの1つは、回帰係数自身ではなく、モデル空間上の辺分布に対してこの近似を直接発展させることである。 シミュレーションにおいて,本手法の強い性能を実証し,我々の変分近似が近似している後部分布で満たされる強い選択整合性を引き継ぐことを証明した。
  論文  参考訳（メタデータ） (2025-02-14T19:57:13Z)
• Explainable and Class-Revealing Signal Feature Extraction via Scattering Transform and Constrained Zeroth-Order Optimization [0.5893124686141783]
  機械学習モデルから識別可能かつ説明可能な特徴を抽出する新しい手法を提案する。 興味のあるクラスのクラス確率を最大化する入力パターンを探索するために、ゼロ階最適化アルゴリズムを採用する。 本稿では,合成時系列分類問題を用いて提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-08T23:35:37Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Multi-Response Heteroscedastic Gaussian Process Models and Their Inference [1.52292571922932]
  本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。 後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。 提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
  論文  参考訳（メタデータ） (2023-08-29T15:06:47Z)
• Convexifying Transformers: Improving optimization and understanding of transformer networks [56.69983975369641]
  本研究では,注目/変圧器ネットワークのトレーニング問題について検討し,新しい凸解析手法を提案する。 まず,自己注意機構の代替として凸を導入し,変圧器ネットワークの正規化学習問題を再構成する。 凸解析の副産物として,トークン間の空間性を促進する暗黙の規則化機構を明らかにする。
  論文  参考訳（メタデータ） (2022-11-20T18:17:47Z)
• Nonparametric Trace Regression in High Dimensions via Sign Series Representation [13.37650464374017]
  高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。 行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
  論文  参考訳（メタデータ） (2021-05-04T22:20:00Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• Attention that does not Explain Away [54.42960937271612]
  Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。 Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。 本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
  論文  参考訳（メタデータ） (2020-09-29T21:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。