論文の概要: Nonconformal Distortion and Local Orientation Reversal in the Fourier Circuit of a Modular-Addition Transformer
- arxiv url: http://arxiv.org/abs/2611.00414v1
- Date: Fri, 30 Oct 2026 22:04:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 18:58:39.249222
- Title: Nonconformal Distortion and Local Orientation Reversal in the Fourier Circuit of a Modular-Addition Transformer
- Title(参考訳): モジュラ付加変圧器のフーリエ回路における非等角歪みと局所配向反転
- Abstract要約: 一層トランスにおけるフーリエ型モジュラーエンジニアリング回路の局所微分幾何学について検討する。
5つのキーフーリエ周波数それぞれに対して、モデルの多層パーセプトロンを制限する。
連続的な入力摂動下での方向ベルトラミ係数を測定する。
- 参考スコア(独自算出の注目度): 1.4018975578160688
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the local differential geometry of a Fourier-based modular-addition circuit in a one-layer transformer whose algorithm has previously been reverse-engineered. For each of the five key Fourier frequencies, we restrict the model's multilayer perceptron (MLP) contribution to a corresponding Fourier input plane and readout, and measure its directional Beltrami coefficient under continuous input perturbations. Whereas nondegenerate restrictions of ideal complex multiplication are conformal, the trained maps exhibit nonconformal distortion (median $|μ|=0.304$--$0.446$), spatial organization in the Beltrami argument, and regions of local orientation reversal. The median across frequencies decreases from $0.939$ at initialization to $0.390$ after training. The key-frequency planes also show lower median distortion than most random-plane controls, although their distributions overlap and the coordinate frames differ in conditioning. Across 500 checkpoints in one training run, most of the aggregate reduction in Beltrami magnitude occurs before the principal increase in the measured Fourier-circuit formation. At the individual-input level, Beltrami magnitude shows negligible association with the correct-logit margin ($|ρ|\leq0.026$). Late-checkpoint measurements across six runs show comparable distortion for most selected frequencies. These results provide a quantitative characterization of local deformation in a frequency-projected component of an identified neural circuit, complementary to its algorithmic reconstruction.
- Abstract(参考訳): アルゴリズムを逆エンジニアリングした一層変圧器におけるフーリエ型モジュール付加回路の局所微分幾何学について検討する。
5つの主要なフーリエ周波数のそれぞれについて、対応するフーリエ入力平面と読み出しに対するモデルの多層パーセプトロン(MLP)の寄与を制限し、連続的な入力摂動の下でその方向ベルトラミ係数を測定する。
理想的な複素乗法における非退化制限は共形であるのに対し、訓練された写像は非等角的歪み(median $|μ|=0.304$-$0.446$)、ベルトラミの議論における空間的構造、および局所的向き反転の領域を示す。
周波数の中央値は初期化時に0.939ドルから訓練後に0.390ドルに低下する。
キー周波数平面は、多くのランダムプレーン制御よりも中央値の歪みが低いが、それらの分布は重なり、座標フレームは条件付けが異なる。
1回のトレーニングで500点を超えるチェックポイントは、測定されたフーリエ回路の形成が主になる前に、ベルトラミ等級の集約的な縮小がほとんどである。
個々のインプットレベルでは、ベルトラミ等級は正しいロジットマージン(|ρ|\leq0.026$)と無視できる関係を示す。
6回のランの遅延チェックポイント測定は、ほとんどの選択された周波数に匹敵する歪みを示す。
これらの結果は、同定されたニューラルネットワークの周波数投影成分の局所的な変形を定量的に評価し、そのアルゴリズム的再構成を補完する。
関連論文リスト
- Fourier-Geometric Circuit Design for Gate and Entanglement Placement in Quantum Neural Networks [48.27646637170387]
パウリの読み出しと2量子エンタングルの通勤のための回路設計規則を提案する。
パウリの読み出しと2ビットのエンタングルに対して、これは与えられた相互作用グラフに対して局所回転とエンタングル層を配置する回路設計規則を与える。
論文 参考訳(メタデータ) (2026-09-28T16:00:45Z) - Fractional-Order Adaptive Motion Magnification: Phase-Reliability Weighting for Noise-Constrained Video Amplification [51.56484100374058]
本稿では、まずオフラインで、次に因果ストリームとして開発されたパイプラインであるフラクショナルオーダー適応運動拡大法を提案する。
一定の時間的利得を分数次 Grnwald--Letnikov 微分に置き換え、高周波強調を連続的に制御する。
リアルビデオでは、各ケースにおける空間選択性の向上と背景雑音の低減が示されている。
論文 参考訳(メタデータ) (2026-09-03T21:43:22Z) - The Gain-Engineered Transmon [68.89136228609398]
標準的なトランスモン・リードアウト共振器回路において,ノイズバイアス量子ビットを導入し,実験的に実現する。
本システムは,ハードウェア効率のよい量子エラー検出と修正手法のための単純なビルディングブロックとして利用するための道を開く。
論文 参考訳(メタデータ) (2026-08-26T17:00:42Z) - Noisy quantum circuit simulation with the tensor jump method [4.323508970487569]
本稿では,テンソルジャンプ法と行列積状態の局所的なTDVPゲート進化と,スパースなPauli-Lindbladハードウェアノイズモデルを組み合わせた分散対応テンソルネットワークフレームワークを提案する。
我々は,25kbitのノイズXYクエンチとIBMの127kbitのキックドイシングベンチマークを用いて,高精度でスケーラブルなノイズ回路シミュレーションを行った。
論文 参考訳(メタデータ) (2026-07-01T18:00:01Z) - N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。
N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
論文 参考訳(メタデータ) (2026-05-13T08:46:17Z) - Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic [0.0]
グロキングは、トレーニングデータが記憶された後、モジュラー2整数上のニューラルネットワークの検証精度が上昇する場所である。
その結果,ReLUは2値近傍の2乗波入力重みを学習することがわかった。
このことは、グラッキングが正しいアルゴリズムを発見するのではなく、暗記中に実質的に符号化されたアルゴリズムを研ぎ澄ますことを示唆している。
論文 参考訳(メタデータ) (2026-03-24T23:36:26Z) - The Radio-Frequency Transformer for Signal Separation [29.348481060446314]
我々は、未知の非ガウス背景/干渉によって汚染された利害信号の推定という、信号分離の問題を研究する。
我々はSOIのための優れた離散トークン化器を学び、次にエントロピー損失でエンドツーエンドのトランスフォーマーを訓練する。
提案手法は,MIT RF Challengeデータセットから実・合成混合物を合成することにより,競争性能が向上する。
論文 参考訳(メタデータ) (2026-03-10T05:22:02Z) - High-Fidelity Prediction of Perturbed Optical Fields using Fourier Feature Networks [0.0]
本稿では,多モードファイバの摂動依存性伝達行列を学習する,データ効率のよい機械学習フレームワークを提案する。
圧縮繊維による実験データから, 実測値と0.995の複素相関を持つ出力場を予測した。
このアプローチは、スパース測定から複雑な光学系をモデル化するための一般的なツールを提供する。
論文 参考訳(メタデータ) (2025-08-27T10:25:57Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot
Segmentation [58.4650849317274]
Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。
VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
論文 参考訳(メタデータ) (2022-07-22T04:10:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。