論文の概要: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers

• arxiv url: http://arxiv.org/abs/2606.04752v2
• Date: Mon, 08 Jun 2026 08:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:04.894868
• Title: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers
• Title（参考訳）: マルチチャネル信号変換器における入力エンコーダの実証監査
• Abstract要約: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を1つの$d_textmodel$-dimensionalベクトルに埋め込む必要がある。 我々は、8つの入力エンコーダ(共有スカラーベースライン、チャネルごとの線形射影、明示正規化器、非線形論理的、ブロック分割結合、チャネル非依存、チャネル・アズ・トークン)を監査する。 標準のチャネルごとの線形射影は、小さな、統計的に現実的だが実質的には控えめな差まで、あらゆる選択肢と一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers consuming multi-channel scalar signals must embed $C$ simultaneous values into one $d_{\text{model}}$-dimensional vector per time step. We audit eight input encoders -- a shared-scalar baseline, per-channel linear projections, an orthogonality regulariser, a nonlinear MLP, block-partitioned concatenation, channel-independent and channel-as-token architectures, and a projected positional encoding -- on a synthetic benchmark where channel identity is informative and on ETTh1, scored by next-step negative log-likelihood. The headline is practical near-equivalence within a wide "top tier": the standard per-channel linear projection matches every alternative up to small, statistically real but practically modest differences. A direct geometric probe attributes this to a spontaneous orthogonalisation of the per-channel projections: they end up near-orthogonal with no explicit regulariser, letting the standard linear recover channel identity from the summed embedding. Two encoders lose decisively: the shared-scalar baseline collapses for information-theoretic reasons we make explicit, and the channel-independent PatchTST-spirit baseline overfits universally on the synthetic benchmark and underperforms on both. Paired tests resolve two small gaps: projecting the sinusoidal positional encoding through a learned linear layer edges the rest at small $C$ by extending this orthogonality to the positional subspace; a nonlinear MLP stem edges them at the largest $C$, with the gap shrinking under more training data. The practical recommendation: use the standard per-channel linear projection by default; reach for something more elaborate only when the task calls for it.
• Abstract（参考訳）: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を1つの$d_{\text{model}}$-dimensionalベクトルに埋め込む必要がある。 我々は、チャネルアイデンティティが情報化され、ETTh1は次のステップの負の対数類似度によってスコアされる合成ベンチマーク上で、8つの入力エンコーダ(共有スカラーベースライン、チャネルごとの線形射影、直交正規化器、非線形MLP、ブロック分割結合、チャネル独立およびチャネル間通信アーキテクチャ、および投影された位置符号化)を監査する。 見出しは広義の「最上層」の中で実用的にほぼ同値であり、標準のチャネルごとの線形射影は全ての選択肢と一致し、小さく、統計的に現実的であるが、実際は控えめな違いがある。 直接幾何学的プローブは、これをチャネルごとの射影の自発的直交化(英語版)に起因している:それらは明示的な正則性を持たずほぼ直交し、要約された埋め込みから標準線形回復チャネルの同一性を与える。 2つのエンコーダは決定的に失われる: 共有スカラーベースラインは明示的な情報理論上の理由で崩壊し、チャネルに依存しないPatchTST-spiritベースラインは、合成ベンチマークで普遍的にオーバーフィットし、両方で過小評価される。 学習された線形層を介して正弦波の位置エンコーディングを投影すると、残りを小さな$C$で、この直交性を位置部分空間に拡張し、非線形MLPステムは最大$C$で、ギャップはより多くのトレーニングデータの下で縮小する。 実際の推奨事項は、標準のチャネルごとの線形プロジェクションをデフォルトで使用すること。

関連論文リスト

• DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction [8.972672149050627]
  計算レコメンデーションシステムにおいて,オフサイト変換率(OCVR)予測は重要なランキング問題である。 このタスクは、クリック信号が豊富で、短い時間的水平線を示すのに対して、変換信号は本質的に疎く、長い遅延があり、しばしば未配布である。 ユーザ行動データを2つのドメインコヒーレントなストリーム – クリックと変換 – に明示的に分割するフレームワークであるDUETを提案する。
  論文  参考訳（メタデータ） (2026-06-08T23:13:58Z)
• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• Gated Differential Linear Attention: A Linear-Time Decoder for High-Fidelity Medical Segmentation [15.30336007288786]
  PVT-GDLAはデコーダ中心のトランスフォーマーで、線形時間でシャープで長距離の依存関係を復元する。 これは、CT、MRI、超音波、皮膚内視鏡のベンチマークで同等のトレーニング予算で最先端の精度を達成する。
  論文  参考訳（メタデータ） (2026-03-03T08:26:08Z)
• EqDeepRx: Learning a Scalable MIMO Receiver [6.732584013520367]
  本稿では,実践的な深層学習支援マルチインプットマルチアウトプット(MIMO)受信機であるEqDeepRxについて述べる。 レシーバモデルのコアは、各空間ストリームまたは層で独立して動作する共有重み検出NNである。 5G/6G準拠のエンドツーエンドシミュレーションでは,複数チャネルシナリオ,パイロットパターン,セル間干渉条件が改善し,スペクトル効率が向上した。
  論文  参考訳（メタデータ） (2026-02-12T11:22:30Z)
• Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
  RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。 1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。 マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-11T01:40:34Z)
• CP Loss: Channel-wise Perceptual Loss for Time Series Forecasting [67.3477355449697]
  時系列データに対するチャネルワイド知覚損失(CP損失)を提案する。 我々は,その特性に適応した各チャネルに対して,独自の知覚空間を学習する。 これらの知覚空間内で損失を計算し、モデルを最適化する。
  論文  参考訳（メタデータ） (2026-01-25T15:31:37Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder [20.544993155126967]
  ピーク対平均電力比(mathsfPAPR$)削減と波形設計のための新しい枠組みを提案する。 畳み込みオートコーダ(mathsfCAE$)アーキテクチャが提示される。 1つのトレーニングされたモデルが、幅広いSNRレベルにわたって、$mathsfPAPR$の削減、スペクトル設計、および$mathsfMIMO$の検出のタスクをカバーしていることを示す。
  論文  参考訳（メタデータ） (2023-01-11T11:35:10Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension [12.67951378791069]
  雑音や符号フリップによって劣化した$m$のバイナリ測定から$n$の次元信号を復元することを検討する。 二乗測定モデルは非常に非線形であるが、最小二乗復号器を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:06:47Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm [15.08164172607321]
  線形畳み込みネットワークにおける重みの$ell$ノルムを制御することによって生じる誘導バイアスの関数空間特性を検討する。 十分に大きな$c$ に対して、誘導正規化子 $k=1$ と $k=d$ はそれぞれ核ノルムと $ell_2,1$ グループスパースノルムである。
  論文  参考訳（メタデータ） (2021-02-24T12:01:23Z)
• Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint modeling [69.35569554213679]
  解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。 この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。 本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T21:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。