論文の概要: StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
- arxiv url: http://arxiv.org/abs/2605.25648v1
- Date: Mon, 25 May 2026 09:53:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.631954
- Title: StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
- Title（参考訳）: StrTransformer:教師なしブラインドソースリカバリのためのソースワイズ構造変換器
- Authors: Yuan-Hao Wei,
- Abstract要約: StrTransformerは、ブラインドソースリカバリとブランチワイド潜在モデリングのためのソースワイドな構造化されたTransformerフレームワークである。
本研究では, 対象物の疎結合構造, 正則化された精密再構成繊維, および順序分岐記述子によって誘導される置換対称性の低減について解析する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes StrTransformer, a source-wise structured Transformer framework for blind source recovery and branch-wise latent modeling. Instead of using an encoder to infer latent variables, StrTransformer directly optimizes the latent source matrix together with an observation-space mixer and source-wise structural Transformer branches. The mixer enforces reconstruction consistency, while each Transformer branch imposes a differentiable structural constraint on one latent source trajectory. Specifically, each source is converted into multi-scale patch tokens, randomly masked, processed by a locality-biased Transformer, and evaluated through a masked patch reconstruction energy. This energy acts as an implicit source-wise structural prior. To encourage different latent branches to specialize into different temporal regimes, StrTransformer further introduces an ordered multi-scale controller that learns branch-specific patch-scale weights, ordered scale centers, and locality attention slopes. The resulting objective combines observation reconstruction, source-wise structural regularization, and modular auxiliary penalties for separation and scale specialization. We analyze the decoupling and coupling structure of the objective, the regularized exact-reconstruction fiber, and the reduction of permutation symmetry induced by ordered branch descriptors. A controlled case study shows that the learned branches converge to distinct temporal-scale structures and recover source-aligned latent trajectories under post-hoc evaluation.
- Abstract（参考訳）: 本稿では、ブラインド・ソース・リカバリとブランチ・ワイド・ラジェント・モデリングのためのソース・ワイド・ストラクタ・フレームワークであるStrTransformerを提案する。
潜伏変数を推論するためにエンコーダを使用する代わりに、StrTransformerは、観測空間ミキサーとソースワイド構造トランスフォーマーブランチとともに、潜伏したソースマトリックスを直接最適化する。
ミキサーは再構成の一貫性を強制し、トランスフォーマーブランチは1つの遅延ソース軌跡に微分可能な構造的制約を課する。
具体的には、各ソースをマルチスケールのパッチトークンに変換し、ランダムにマスクし、ローカリティバイアス変換器で処理し、マスクされたパッチ再構成エネルギーで評価する。
このエネルギーは、暗黙のソースワイド構造として振る舞う。
StrTransformerはさらに、異なる潜伏枝を時間的レシエーションに特化させるために、ブランチ固有のパッチスケールウェイト、オーダースケールセンター、ローカリティアテンションスロープを学習する順序付きマルチスケールコントローラを導入している。
得られた目的は、観測の再構築、ソースワイドな構造規則化、分離とスケールの専門化のためのモジュラー補助的な罰則を組み合わせることである。
本研究では, 対象物の疎結合構造, 正則化された精密再構成繊維, および順序分岐記述子によって誘導される置換対称性の低減について解析する。
制御されたケーススタディでは、学習した枝が時間スケールの異なる構造に収束し、ポストホック評価の下でソースアラインの潜在軌道を復元することを示した。
関連論文リスト
- Rethinking Vision Transformer Depth via Structural Reparameterization [16.12815682992294]
本稿では,訓練期間中に機能する分岐型構造パラメータ化手法を提案する。
提案手法では, 変圧器ブロック内の並列分岐を利用して, 合理化シングルパスモデルに体系的に統合する。
ViT-Tinyに適用した場合、このフレームワークは、ImageNet-1Kの分類精度を維持しながら、元の12層アーキテクチャを6層、4層、もしくは3層に改善する。
論文 参考訳（メタデータ） (2025-11-24T21:28:55Z) - ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning [0.0]
本稿では,ReSSFormerについて述べる。Recursive Sparse Structured Transformerは3つの相補的なイノベーションを統合している。
ReSSFormerは、従来のディープスタックをリカレント推論に置き換え、トークンレベルのスペーサと専門家レベルのスペーサに置き換え、コンテンツから直接潜在トークントポロジをモデル化する。
論文 参考訳（メタデータ） (2025-10-02T02:05:30Z) - Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。
我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。
この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
論文 参考訳（メタデータ） (2025-09-09T23:13:41Z) - Adaptive Pruning of Pretrained Transformer via Differential Inclusions [48.47890215458465]
現在の圧縮アルゴリズムは一定の圧縮比でプルーーン変換器であり、各比に対して独自のプルーニングプロセスを必要とする。
本研究では,マスクパラメータの差分包摂性に基づいて,事前学習した変圧器を1つのプルーニング段階内において任意の所望の比率でプルーニングすることを提案する。
このダイナミクスは、ネットワーク構造を識別するサポートセットを持つマスクパラメータの全体正規化ソリューションパスを生成することができる。
論文 参考訳（メタデータ） (2025-01-06T06:34:52Z) - Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot [50.16171384920963]
トランスフォーマーアーキテクチャは 様々なディープラーニング環境で普及しています
勾配降下で訓練された一層変圧器はスパーストークン選択タスクを確実に学習する。
論文 参考訳（メタデータ） (2024-06-11T02:15:53Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳（メタデータ） (2021-02-27T21:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。