論文の概要: The RG-Flow Transformer: Encoding Scale-Free Dynamics in Scarce EEG

• arxiv url: http://arxiv.org/abs/2607.11950v2
• Date: Thu, 16 Jul 2026 17:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 14:53:42.209147
• Title: The RG-Flow Transformer: Encoding Scale-Free Dynamics in Scarce EEG
• Title（参考訳）: RG-Flow変換器:スカース脳波におけるスケールフリーダイナミクスの符号化
• Abstract要約: 我々は、RG-Flow変換器が、Emphreal, scarce EEG上のパラメータ整合バニラ変換器よりも有利である、明示的な再正規化群帰納バイアスを持つ変圧器を問う。 パラム整合バニラ変圧器と5クラスAASM睡眠ステージにおける階層のみのアブレーションに対してRG-Flowをベンチマークした。 RG-Flowとバニラトランスフォーマーは、5クラスステージでは統計的に区別できない。
• 参考スコア（独自算出の注目度）: 0.09229852843814058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Brain field potentials are scale-free: their power spectra follow a $1/f^β$ law whose aperiodic exponent $β$ tracks cortical state, and sleep depth in particular is a shift in $β$. We ask whether a transformer endowed with an explicit renormalization-group (RG) inductive bias the RG-Flow Transformer, which couples ordinary self-attention to a scale-aware stream with a learnable anomalous dimension $γ$, block-spin coarse-graining, and an entropy-gated synchronization bridge has an advantage over a parameter-matched vanilla transformer on \emph{real, scarce} EEG. Using the PhysioNet Sleep-EDF corpus with a strict leakage-free by-subject hold-out, we (i) benchmark RG-Flow against a param-matched vanilla transformer and a hierarchy-only ablation on 5-class AASM sleep staging, (ii) sweep the per-subject data budget to look for the inductive-bias crossover predicted when data are scarce, and (iii) test whether RG-Flow's learned $γ$ tracks the measured spectral exponent $β$ out-of-sample a quantity the vanilla model does not possess. Across $5$ subjects and $5$ seeds under leave-one-subject-out cross-validation, RG-Flow and the vanilla transformer are statistically indistinguishable on 5-class staging (77.3\% vs 77.0\% accuracy; paired $p=0.294$), and the predicted scarce-data crossover does not appear: vanilla is numerically ahead at every data-limited budget. What does separate the models is interpretability RG-Flow recovers the continuous spectral exponent out-of-sample ($β$-recovery $R^2 = 0.416$), a capability the vanilla architecture has no analogue for.
• Abstract（参考訳）: パワースペクトルは1/f^β$法に従っており、周期的な指数である$β$は皮質状態を追跡し、特に睡眠深度は$β$のシフトである。 RG-Flow Transformerは,学習可能な異常次元$γ$, ブロックスピン粗粒化, エントロピーゲート同期ブリッジで, パラメータ整合バニラ変換器よりも有利であるかどうかを問う。 厳密な漏れのないバイオブジェクトホールドアウトを有するPhyloNet Sleep-EDFコーパスを用いた。 (i) パラム整合バニラ変圧器に対するRG-Flowのベンチマークと5クラスAASM睡眠ステージにおける階層のみのアブレーション 二 オブジェクトごとのデータ予算を整理して、データが不足しているときに予測される誘導バイアスのクロスオーバーを探すこと。 3) RG-Flowの学習した$γ$が、バニラモデルが持たない量のスペクトル指数$β$アウト・オブ・サンプルをトラックするかどうかをテストする。 5つのクラスステージ(77.3\%対77.0\%、ペア付き$p=0.294$)では、5ドルの被験者と5ドルの種子が分離され、バニラとバニラ変換器は統計的に区別できない。 モデルの分離は、解釈可能性 RG-Flow が連続スペクトル指数のアウト・オブ・サンプル(β$-recovery $R^2 = 0.416$)を復元することである。

関連論文リスト

• The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
  LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。 観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。 完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。 Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
  論文  参考訳（メタデータ） (2026-07-26T15:17:41Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Closing the Theory-Practice Gap in Spiking Transformers via Effective Dimension [13.891522069967507]
  スパイキングトランスは、ニューロモルフィックハードウェアで38ドルから57ドル(約3,500円)のエネルギー効率を提供しながら、従来のトランスフォーマーと競合する精度を実現している。 本稿では, 自己注意をスパイクするための最初の包括的表現性理論を確立する。
  論文  参考訳（メタデータ） (2026-04-17T07:15:53Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
  RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。 1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。 マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-11T01:40:34Z)
• Reevaluating Convolutional Neural Networks for Spectral Analysis: A Focus on Raman Spectroscopy [1.1545092788508224]
  我々は1次元畳み込みニューラルネットワーク(CNN)を評価し,4つの進歩を報告した。 コンパクトCNNは、手作りの機能で$k$-nearest-neborsを上回っている。 ラベル効率の学習: 半教師付き生成的敵ネットワークと対照的な事前学習により、最大で11%の精度が向上し、わずか10%のラベルしか取得できない。 このワークフローには、生のスペクトルのトレーニング、プールのチューニング、ラベルの不足時に半スーパービジョンの追加、新しいターゲットに対する微調整が含まれる。
  論文  参考訳（メタデータ） (2025-09-30T09:01:38Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• On the Role of Depth and Looping for In-Context Learning with Task Diversity [69.4145579827826]
  多様なタスクを伴う線形回帰のための文脈内学習について検討する。 We show that multilayer Transformer is not robust to even distributional shifts as $O(e-L)$ in Wasserstein distance。
  論文  参考訳（メタデータ） (2024-10-29T03:27:56Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Fourier or Wavelet bases as counterpart self-attention in spikformer for efficient visual classification [9.312432667108691]
  生体可塑性スパイキングニューラルネットワーク(SNN)と人工トランスフォーマーを組み合わせたエネルギー効率の高いスパイクフォーマーが提案されている。 本稿では,バニラSSAをスパイク形式のフーリエ変換,ウェーブレット変換,およびそれらの組み合わせに置き換える。 FWformerは、同等またはそれ以上のアキュラシー(0.4%$-1.5%$)、より高いランニングスピード(9%$-51%$)、推論のために19%$-70%$を達成することができる。
  論文  参考訳（メタデータ） (2024-03-27T03:31:16Z)
• p-Laplacian Transformer [7.2541371193810384]
  グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。 まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。 次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:25:56Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。