論文の概要: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers

• arxiv url: http://arxiv.org/abs/2606.04752v2
• Date: Mon, 08 Jun 2026 08:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:04.894868
• Title: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers
• Title（参考訳）: マルチチャネル信号変換器における入力エンコーダの実証監査
• Authors: Ossi Lehtinen,
• Abstract要約: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を1つの$d_textmodel$-dimensionalベクトルに埋め込む必要がある。 我々は、8つの入力エンコーダ(共有スカラーベースライン、チャネルごとの線形射影、明示正規化器、非線形論理的、ブロック分割結合、チャネル非依存、チャネル・アズ・トークン)を監査する。 標準のチャネルごとの線形射影は、小さな、統計的に現実的だが実質的には控えめな差まで、あらゆる選択肢と一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers consuming multi-channel scalar signals must embed $C$ simultaneous values into one $d_{\text{model}}$-dimensional vector per time step. We audit eight input encoders -- a shared-scalar baseline, per-channel linear projections, an orthogonality regulariser, a nonlinear MLP, block-partitioned concatenation, channel-independent and channel-as-token architectures, and a projected positional encoding -- on a synthetic benchmark where channel identity is informative and on ETTh1, scored by next-step negative log-likelihood. The headline is practical near-equivalence within a wide "top tier": the standard per-channel linear projection matches every alternative up to small, statistically real but practically modest differences. A direct geometric probe attributes this to a spontaneous orthogonalisation of the per-channel projections: they end up near-orthogonal with no explicit regulariser, letting the standard linear recover channel identity from the summed embedding. Two encoders lose decisively: the shared-scalar baseline collapses for information-theoretic reasons we make explicit, and the channel-independent PatchTST-spirit baseline overfits universally on the synthetic benchmark and underperforms on both. Paired tests resolve two small gaps: projecting the sinusoidal positional encoding through a learned linear layer edges the rest at small $C$ by extending this orthogonality to the positional subspace; a nonlinear MLP stem edges them at the largest $C$, with the gap shrinking under more training data. The practical recommendation: use the standard per-channel linear projection by default; reach for something more elaborate only when the task calls for it.
• Abstract（参考訳）: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を1つの$d_{\text{model}}$-dimensionalベクトルに埋め込む必要がある。 我々は、チャネルアイデンティティが情報化され、ETTh1は次のステップの負の対数類似度によってスコアされる合成ベンチマーク上で、8つの入力エンコーダ(共有スカラーベースライン、チャネルごとの線形射影、直交正規化器、非線形MLP、ブロック分割結合、チャネル独立およびチャネル間通信アーキテクチャ、および投影された位置符号化)を監査する。 見出しは広義の「最上層」の中で実用的にほぼ同値であり、標準のチャネルごとの線形射影は全ての選択肢と一致し、小さく、統計的に現実的であるが、実際は控えめな違いがある。 直接幾何学的プローブは、これをチャネルごとの射影の自発的直交化(英語版)に起因している:それらは明示的な正則性を持たずほぼ直交し、要約された埋め込みから標準線形回復チャネルの同一性を与える。 2つのエンコーダは決定的に失われる: 共有スカラーベースラインは明示的な情報理論上の理由で崩壊し、チャネルに依存しないPatchTST-spiritベースラインは、合成ベンチマークで普遍的にオーバーフィットし、両方で過小評価される。 学習された線形層を介して正弦波の位置エンコーディングを投影すると、残りを小さな$C$で、この直交性を位置部分空間に拡張し、非線形MLPステムは最大$C$で、ギャップはより多くのトレーニングデータの下で縮小する。 実際の推奨事項は、標準のチャネルごとの線形プロジェクションをデフォルトで使用すること。

関連論文リスト

• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder [20.544993155126967]
  ピーク対平均電力比(mathsfPAPR$)削減と波形設計のための新しい枠組みを提案する。 畳み込みオートコーダ(mathsfCAE$)アーキテクチャが提示される。 1つのトレーニングされたモデルが、幅広いSNRレベルにわたって、$mathsfPAPR$の削減、スペクトル設計、および$mathsfMIMO$の検出のタスクをカバーしていることを示す。
  論文  参考訳（メタデータ） (2023-01-11T11:35:10Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension [12.67951378791069]
  雑音や符号フリップによって劣化した$m$のバイナリ測定から$n$の次元信号を復元することを検討する。 二乗測定モデルは非常に非線形であるが、最小二乗復号器を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:06:47Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm [15.08164172607321]
  線形畳み込みネットワークにおける重みの$ell$ノルムを制御することによって生じる誘導バイアスの関数空間特性を検討する。 十分に大きな$c$ に対して、誘導正規化子 $k=1$ と $k=d$ はそれぞれ核ノルムと $ell_2,1$ グループスパースノルムである。
  論文  参考訳（メタデータ） (2021-02-24T12:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。