論文の概要: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers

• arxiv url: http://arxiv.org/abs/2606.04752v1
• Date: Wed, 03 Jun 2026 11:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.710513
• Title: An Empirical Audit of Input Encoders for Multi-Channel Signal Transformers
• Title（参考訳）: マルチチャネル信号変換器における入力エンコーダの実証監査
• Authors: Ossi Lehtinen,
• Abstract要約: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を$d_text$dimensionalベクトルに埋め込む必要がある。 共有スカラーベースライン, チャネルごとの線形性正規化器, 非線形ステムにまたがる8つの入力エンコーダを実験的に評価した。 情報理論上の理由で崩壊する共有スカラーベースラインと、チャネルに依存しないPatchTST-spiritベースラインである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers consuming multi-channel scalar signals must embed $C$ simultaneous values into one $d_{\text{model}}$-dimensional vector per time step. We empirically audit eight input encoders -- spanning a shared-scalar baseline, per-channel linear projections, an orthogonality regulariser, a nonlinear MLP stem, block-partitioned concatenation, channel-independent and channel-as-token architectures, and a projected positional encoding -- on a synthetic benchmark designed to make channel identity informative and on ETTh1 as a real-data check, measured in next-step negative log-likelihood (NLL). The headline is one of practical near-equivalence within a wide "top tier": the standard per-channel linear projection (nn.Linear(C, $d_{\text{model}}$)) matches every alternative in that tier up to small, statistically real but practically modest, differences. Two encoders lose decisively: the shared-scalar baseline, which collapses for information-theoretic reasons we make explicit, and the channel-independent PatchTST-spirit baseline, which underperforms on both benchmarks and overfits universally on the synthetic one. Paired tests resolve two small gaps: projecting the sinusoidal positional encoding through a learned linear layer edges the rest at small $C$, with a direct geometric probe showing the mechanism is positional-channel orthogonalisation; a nonlinear MLP stem edges them at the largest $C$ we test, with the gap shrinking under more training data. The practical recommendation is to use nn.Linear(C, $d_{\text{model}}$) by default and reach for something more elaborate only when the task at hand gives a real reason to do so. Code and data to reproduce every experiment in this paper are available at https://github.com/OssiLehtinen/channel-encoder-audit
• Abstract（参考訳）: マルチチャネルスカラー信号を消費するトランスフォーマーは、時間ステップ毎に$C$同時値を1つの$d_{\text{model}}$-dimensionalベクトルに埋め込む必要がある。 提案手法は, チャネル識別を情報化するために設計された, ETTh1上の実データチェック(next-step negative log-likelihood, NLL) を用いて, 共有スカラーベースライン, チャネルごとの線形射影, 直交正規化器, 非線形MLPステム, ブロック分割結合, チャネル独立・チャネル・アズ・トーケンアーキテクチャ, および投影された位置符号化の8つの入力エンコーダを実験的に検証する。 標準的なチャネルごとの線形射影(nn.Linear(C, $d_{\text{model}}$))は、その階層内のすべての選択肢を、小さく、統計的にリアルだが、実際は控えめな差まで一致させる。 2つのエンコーダが決定的に失うのは、情報理論上の理由から崩壊する共有スカラーベースラインと、チャネルに依存しないPatchTST-spiritベースラインである。 ペアリングテストは2つの小さなギャップを解決している: 学習された線形層エッジを通して正弦波の位置エンコーディングを投影し、残りを小さな$C$で、そのメカニズムが位置-チャネル直交であることを示す直接幾何プローブで示し、非線形MLPステムは最大で$C$で、ギャップはより多くのトレーニングデータの下で縮小する。 実際の推奨事項は nn.Linear(C, $d_{\text{model}}$) をデフォルトで使用し、手元のタスクがそれを行う真の理由を与える場合にのみ、より精巧なものにリーチすることである。 本論文のすべての実験を再現するコードとデータはhttps://github.com/OssiLehtinen/ channel-encoder-auditで公開されている。

関連論文リスト

• Learning to Recall with Transformers Beyond Orthogonal Embeddings [42.18876773867171]
  簡単なトークン検索タスクにおいて,勾配降下法で学習したランダム埋め込みを用いた変圧器を解析する。 我々の分析は、勾配降下の初期段階'を追跡分析し、モデル記憶容量の明示的な公式を導出する。
  論文  参考訳（メタデータ） (2026-03-16T21:17:01Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Low PAPR MIMO-OFDM Design Based on Convolutional Autoencoder [20.544993155126967]
  ピーク対平均電力比(mathsfPAPR$)削減と波形設計のための新しい枠組みを提案する。 畳み込みオートコーダ(mathsfCAE$)アーキテクチャが提示される。 1つのトレーニングされたモデルが、幅広いSNRレベルにわたって、$mathsfPAPR$の削減、スペクトル設計、および$mathsfMIMO$の検出のタスクをカバーしていることを示す。
  論文  参考訳（メタデータ） (2023-01-11T11:35:10Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension [12.67951378791069]
  雑音や符号フリップによって劣化した$m$のバイナリ測定から$n$の次元信号を復元することを検討する。 二乗測定モデルは非常に非線形であるが、最小二乗復号器を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:06:47Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm [15.08164172607321]
  線形畳み込みネットワークにおける重みの$ell$ノルムを制御することによって生じる誘導バイアスの関数空間特性を検討する。 十分に大きな$c$ に対して、誘導正規化子 $k=1$ と $k=d$ はそれぞれ核ノルムと $ell_2,1$ グループスパースノルムである。
  論文  参考訳（メタデータ） (2021-02-24T12:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。