論文の概要: Collapse-Free Prototype Readout Layer for Transformer Encoders

• arxiv url: http://arxiv.org/abs/2604.03850v1
• Date: Sat, 04 Apr 2026 20:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.796548
• Title: Collapse-Free Prototype Readout Layer for Transformer Encoders
• Title（参考訳）: 変圧器エンコーダ用コラプタフリープロトタイプ読み出し層
• Authors: Giansalvo Cirrincione, Rahul Ranjeev Kumar,
• Abstract要約: DDCL-Attentionは、トランスフォーマーエンコーダ用のプロトタイプベースの読み出し層である。 列長の線形複雑度でコンパクトなトークン要約を生成する。 最終読み出し層、VQ-VAEの拡張可能なコードブック、階層型ドキュメント圧縮器である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: DDCL-Attention is a prototype-based readout layer for transformer encoders that replaces simple pooling methods, such as mean pooling or class tokens, with a learned compression mechanism. It uses a small set of global prototype vectors and assigns tokens to them through soft probabilistic matching, producing compact token summaries at linear complexity in sequence length. The method offers three main advantages. First, it avoids prototype collapse through an exact decomposition of the training loss into a reconstruction term and a diversity term, ensuring that prototypes remain distinct. Second, its joint training with the encoder is shown to be stable under a practical timescale condition, using Tikhonov's singular perturbation theory and explicit learning-rate constraints. Third, the same framework supports three uses: a final readout layer, a differentiable codebook extending VQ-VAE, and a hierarchical document compressor. Experiments on four datasets confirm the theoretical predictions: the loss decomposition holds exactly, prototype separation grows as expected when the stability condition is met, and the codebook reaches full utilization, outperforming standard hard vector quantization. An additional study on orbital debris classification shows that the method also applies beyond standard NLP and vision tasks, including scientific tabular data.
• Abstract（参考訳）: DDCL-Attentionはトランスフォーマーエンコーダのプロトタイプベースの読み出し層で、平均プールやクラストークンといった単純なプールメソッドを学習された圧縮メカニズムで置き換える。 グローバルなプロトタイプベクトルの小さなセットを使用し、ソフトな確率的マッチングを通じてトークンを割り当て、シーケンス長の線形複雑度でコンパクトなトークン要約を生成する。 この方法には3つの利点がある。 第一に、トレーニング損失を再現項と多様性項に正確に分解することでプロトタイプの崩壊を回避し、プロトタイプを区別することを保証する。 第二に、エンコーダとのジョイントトレーニングは、Tikhonovの特異摂動理論と明示的な学習速度制約を用いて、実践的な時間スケール条件下で安定であることが示されている。 第三に、同じフレームワークは最終読み出し層、VQ-VAEを拡張する差別化可能なコードブック、階層型ドキュメント圧縮器の3つの用途をサポートしている。 損失分解は正確に保持され、安定条件が満たされたときにプロトタイプ分離が期待通りに成長し、コードブックが完全に活用され、標準ハードベクトル量子化よりも優れる。 オービタルデブリの分類に関するさらなる研究は、この手法が標準的なNLPや視覚タスクを超えても適用可能であることを示している。

関連論文リスト

• TENSURE: Fuzzing Sparse Tensor Compilers (Registered Report) [9.083996936429465]
  我々は,スパースコンパイラのテストに特化して設計された,最初のブラックボックスファジィフレームワークであるTENSUREを紹介する。 合成されたカーネルの100%の意味論的妥当性を保証する制約ベースの新しい生成アルゴリズムを提案する。 TACOとFinchの2つの最先端システムに対する評価では、特にTACOでは、TENSUREがクラッシュや無音の誤コンパイルを露呈している。
  論文  参考訳（メタデータ） (2026-03-19T00:13:14Z)
• Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
  ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。 PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。 3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
  論文  参考訳（メタデータ） (2026-02-02T07:21:15Z)
• From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
  本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。 その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
  論文  参考訳（メタデータ） (2025-12-21T08:10:26Z)
• Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification [0.0]
  BERT埋め込みとロジスティック回帰は、LIARデータセット分割のニューラルネットワークよりも優れている。 この研究は、注意に基づくトークンエンコーダを、正確性タスクのための堅牢でアーキテクチャ中心の基盤として位置付けている。
  論文  参考訳（メタデータ） (2025-11-28T08:32:49Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Hierarchical Vector Quantized Transformer for Multi-class Unsupervised Anomaly Detection [24.11900895337062]
  教師なし画像異常検出(UAD)は、正常サンプルの堅牢かつ識別的な表現を学習することを目的としている。 本稿では,複数のクラスに統一されたフレームワークを構築することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-22T08:20:33Z)
• Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
  変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。 文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。 本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
  論文  参考訳（メタデータ） (2023-07-18T09:06:35Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• A Light-Weight Contrastive Approach for Aligning Human Pose Sequences [1.0152838128195467]
  トレーニングサンプルは、モカプマーカーや骨格関節などの3Dボディポイントを含むフレームの時間窓で構成されている。 拡張サンプル対の埋め込みベクトルにコサイン類似度1と、他のすべてのサンプルとミニバッチで類似度0を付与するコントラスト損失関数を用いて、軽量3層エンコーダを訓練する。 簡単なことに加えて、提案手法は訓練が速く、異なるマーカーセットや骨格関節レイアウトを用いて新しいデータに適応しやすくする。
  論文  参考訳（メタデータ） (2023-03-07T21:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。