論文の概要: QLENS: Towards A Quantum Perspective of Language Transformers
- arxiv url: http://arxiv.org/abs/2510.11963v1
- Date: Mon, 13 Oct 2025 21:53:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 21:19:14.963823
- Title: QLENS: Towards A Quantum Perspective of Language Transformers
- Title（参考訳）: QLENS: 言語トランスフォーマーの量子的展望
- Authors: Aditya Gupta, Kirandeep Kaur, Vinayak Gupta,
- Abstract要約: 本稿では、Transformer生成プロセスにおける物理に基づく視点開発のための新しい試みであるQLENSを紹介する。
QLENSの下では、Transformerはモデルの出力単位から派生したヒルベルト空間の潜在活性化を状態ベクトルに変換することによって研究される。
モデルの最終確率分布は、特定の測定演算子を用いてボルン則を終状態に適用することにより得られる。
- 参考スコア（独自算出の注目度）: 14.34282709638159
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In natural language processing, current methods for understanding Transformers are successful at identifying intermediate predictions during a model's inference. However, these approaches function as limited diagnostic checkpoints, lacking a mathematical framework for mechanistically modeling how each layer facilitates transitions between these evolving states. This interpretability gap and past successes of interdisciplinary outlooks inspire us to turn to physics in search of a descriptive mathematical framework for Transformers. We observe that language models are intrinsically probabilistic, an attribute that is echoed in the core postulates of quantum mechanics. This parallel inspires us to translate insights from this discipline to that of natural language processing. Towards this objective, we propose QLENS a novel attempt to develop a physics-based perspective on the Transformer generation process. Under QLENS, a Transformer is studied by converting its latent activations into a state vector in a Hilbert space derived from the model's output units. This state subsequently evolves through hidden layers - reformulated as unitary operators and analogously defined Hamiltonians - during inference. The model's final probability distribution is obtained by applying the Born rule to the end state using a specific measurement operator. To demonstrate QLENS's potential, we conduct a proof-of-concept by probing a toy Transformer to investigate the influence of individual layers in a model's prediction trajectory. We present our work as a foundation for cross-domain insights to be leveraged towards a broader understanding of Transformers.
- Abstract（参考訳）: 自然言語処理において、トランスフォーマーを理解するための現在の手法は、モデルの推論中に中間予測を特定することに成功している。
しかしながら、これらのアプローチは限られた診断チェックポイントとして機能し、各層がどのように進化する状態間の遷移を促進するかを機械的にモデル化する数学的枠組みが欠如している。
この解釈可能性のギャップと学際的展望の過去の成功は、トランスフォーマーの記述的な数学的枠組みを探すために物理学に転換するきっかけとなった。
我々は、言語モデルは本質的に確率的であり、量子力学のコア仮定に反する属性であると考えている。
この並列処理は、この分野から自然言語処理への洞察を翻訳するきっかけになります。
そこで本研究では,Transformer 生成プロセスにおける物理に基づく視点構築に向けた新しい試みとして QLENS を提案する。
QLENSの下では、Transformerはモデルの出力単位から派生したヒルベルト空間の潜在活性化を状態ベクトルに変換することによって研究される。
この状態は、推論中に隠れた層(ユニタリ作用素と類似的に定義されたハミルトン作用素)を通して進化する。
モデルの最終確率分布は、特定の測定演算子を用いてボルン則を終状態に適用することにより得られる。
QLENSの可能性を実証するために、モデルの予測軌道における個々の層の影響を調べるために、おもちゃのトランスフォーマーを探索して概念実証を行う。
我々は、トランスフォーマーのより広範な理解に向けて活用すべきクロスドメインインサイトの基礎として、我々の仕事を提示する。
関連論文リスト
- Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。
我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。
この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
論文 参考訳（メタデータ） (2025-09-09T23:13:41Z) - A Free Probabilistic Framework for Analyzing the Transformer-based Language Models [19.78896931593813]
本稿では,自由確率理論を用いたトランスフォーマーに基づく言語モデル解析のための形式的演算子理論フレームワークを提案する。
この研究は、理論上は大きな言語モデルにおける構造力学に関する原則的視点を提供する。
論文 参考訳（メタデータ） (2025-06-19T19:13:02Z) - Characterizing the Expressivity of Transformer Language Models [56.598551673153366]
厳密な将来のマスキングとソフトアテンションを備えた固定精度変圧器の正確な特性について述べる。
これらのモデルは、線形時間論理の特定の断片と同じくらい正確に表現可能であることを示す。
さらに、この論理を形式言語理論、オートマトン理論、代数の確立されたクラスに関連付ける。
論文 参考訳（メタデータ） (2025-05-29T16:30:30Z) - Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators [0.40792653193642503]
トランスフォーマーを利用した大規模言語モデル(LLM)は、人間のような知能を実証している。
本稿では,LLMを確率的左文脈依存言語(CSL)ジェネレータとして解釈するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-04-15T04:06:27Z) - Physics-informed Transformers for Electronic Quantum States [0.0]
ニューラル量子状態表現のための変分モンテカルロフレームワークを提案する。
Transformerは、参照状態に対する修正をパラメトリズし、自己回帰的にサンプリングするために使用される。
この研究は、より効率的で解釈可能な神経量子状態表現の道を開く。
論文 参考訳（メタデータ） (2024-12-16T19:00:00Z) - Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。
本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。
実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文 参考訳（メタデータ） (2024-10-22T21:30:01Z) - Universal Approximation of Mean-Field Models via Transformers [3.8916312075738273]
本稿では, 相互作用粒子系の平均場ダイナミクスを近似するために, 変圧器を用いた場合について検討する。
このようなシステムは、意見形成、生物学的ネットワーク、および群ロボット工学を含む物理学、生物学、工学の現象をモデル化する上で基本的なものである。
論文 参考訳（メタデータ） (2024-10-06T19:47:24Z) - Clustering in pure-attention hardmax transformers and its role in sentiment analysis [0.0]
ハードマックス自己アテンションと正規化サブ層を有する変圧器の挙動を, 層数が無限大になる傾向があるため, 厳密に特徴づける。
変換器は、リーダーと呼ばれる特別な点によって決定されるクラスター平衡にインプット的に収束することを示す。
そして、この理論的理解を利用して、完全に解釈可能なトランスフォーマーモデルを用いて、言語処理から感情分析問題を解く。
論文 参考訳（メタデータ） (2024-06-26T16:13:35Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。