論文の概要: fmxcoders: Factorized Masked Crosscoders for Cross-Layer Feature Discovery

• arxiv url: http://arxiv.org/abs/2605.09438v1
• Date: Sun, 10 May 2026 09:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.251165
• Title: fmxcoders: Factorized Masked Crosscoders for Cross-Layer Feature Discovery
• Title（参考訳）: fmxcoders: クロス層機能発見のためのファクトライズされたマスク付きクロスコーダ
• Authors: Andreas D. Demou, Panagiotis Koromilas, James Oldfield, Yannis Panagakis, Mihalis A. Nicolaou,
• Abstract要約: クロスコーダは、単一の共有潜在空間でクロスレイヤ機能を回復することを目的としている。 標準のクロスコーダはこの目的においてほとんど失敗することを示す。 エンコーダとデコーダを低ランク因数分解テンソルで置き換えるfmxcoderを導入する。
• 参考スコア（独自算出の注目度）: 16.9424674844911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many features in pretrained Transformers span multiple layers: they emerge through stages of inference, persist in the residual stream, or are built jointly by parallel MLPs. Crosscoders (namely, sparse dictionaries trained jointly across layers) aim to recover these cross-layer features in a single shared latent space. We show that standard crosscoders largely fail at this purpose. Although their decoder weight norms spread evenly across layers, a functional coherence metric we introduce reveals that each latent's activation is effectively driven by only one or two layers on average. While functionally coherent latents act as human-interpretable concept detectors (e.g., US states and cities), the layer-localized latents that crosscoders predominantly learn collapse onto surface-level patterns such as digit detectors. We trace this failure to two structural limitations: unconstrained cross-layer parameterization and unregularized cross-layer dependence. We address both by introducing fmxcoders, which (i) replace the encoder and decoder with low-rank tensor factorizations that draw every latent's per-layer weights from a shared cross-layer basis, and (ii) apply stochastic layer masking, a denoising regularizer along the layer axis that penalizes latents whose contribution collapses when a single layer is masked. Across GPT2-Small, Pythia-410M, Pythia-1.4B, and Gemma2-2B, fmxcoders lift mean probing F1 by 10-30 points, surpassing per-layer SAE baselines that standard crosscoders fail to reach, reduce reconstruction MSE by 25-50%, and roughly double mean functional coherence. An LLM-as-a-judge evaluation further shows that fmxcoders recover 3-13$\times$ more semantically coherent latents than standard crosscoders across all four base LLMs.
• Abstract（参考訳）: 事前トレーニングされたトランスフォーマーの多くの機能は複数のレイヤにまたがっている。推論の段階を通して現れるか、残留ストリームに持続するか、並列MLPによって共同で構築される。 クロスコーダ(すなわち、レイヤー間で共同で訓練されたスパースディクショナリー)は、これらのクロス層機能を単一の共有潜在空間で回復することを目的としている。 標準のクロスコーダはこの目的においてほとんど失敗することを示す。 それらのデコーダの重みノルムは層全体に均等に広がるが、機能的コヒーレンス測定により、各ラテントの活性化は平均して1つか2つの層で効果的に駆動されることが明らかになった。 機能的にコヒーレントなラテントは人間の解釈可能な概念検出器(例えばアメリカの州や都市)として機能する一方、クロスコーダーはディジット検出器のような表面レベルのパターンへの崩壊を主に学習する。 この失敗は、制約のないクロス層パラメータ化と非規則化されたクロス層依存性の2つの構造的制限に遡る。 fmxcoderを導入し、その両方に対処します。 (i)エンコーダとデコーダを低ランクテンソル分解に置き換え、各ラテントの層単位の重みを共有クロス層ベースから引き出す。 二 確率層マスキング、単層マスキング時に寄与が崩壊する潜伏剤をペナライズする層軸に沿ったデノナイジング正規化剤を適用する。 GPT2-Small、Pythia-410M、Pythia-1.4B、Gemma2-2B、fmxcoders lifting F1 by 10-30 points、標準クロスコーダが到達できない層間SAEベースラインを超え、再構成MSEを25-50%削減し、およそ2倍の関数コヒーレンスを達成した。 LLM-as-a-judgeの評価により、fmxcoderは4基LLMの標準クロスコーダよりも3-13$\times$より意味的に一貫性のあるラテントを復元する。

関連論文リスト

• LUMOS: Universal Semi-Supervised OCT Retinal Layer Segmentation with Hierarchical Reliable Mutual Learning [9.42829815939387]
  本稿では,階層型プロンプティング戦略 (DDN-HPS) とReliable Progressive Multi-granularity Learning (RPML) を併用したDual-Decoder Networkをベースとした,半教師付き汎用OCT網膜層セグメンテーションフレームワークであるLUMOSを提案する。 6つのOCTデータセットの実験では、LUMOSは既存の手法よりも優れており、例外的なクロスドメインとクロスグラニュラリティの一般化能力を示している。
  論文  参考訳（メタデータ） (2026-04-07T03:39:48Z)
• BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs [11.874112583811593]
  BidirLMは5つのエンコーダのファミリーであり、テキスト、ビジョン、音声表現のベンチマークにおいて、代替品よりも優れている。 我々は、適応を成功させる重要な要因を特定し、しばしば省略される事前マスキングフェーズの役割を強調した。 エンコーダを特殊な因果モデルにマージし、モダリティとドメイン固有の機能をシームレスに転送することで拡張します。
  論文  参考訳（メタデータ） (2026-04-02T13:48:35Z)
• FMS$^2$: Unified Flow Matching for Segmentation and Synthesis of Thin Structures [1.3111058225843968]
  2つのモジュールを持つフローマッチングフレームワークであるFMS$2$を提案する。 SegFlowは標準的なエンコーダ/デコーダのバックボーン上に構築された2.96Mパラメータセグメンテーションモデルである。 SynFlowはマスク付きマスク$rightarrow$イメージジェネレータで、ピクセル対応の合成イメージマスクペアを生成する。
  論文  参考訳（メタデータ） (2026-03-14T00:04:25Z)
• Lightweight Transformer Framework for Weakly Supervised Semantic Segmentation [0.45880283710344055]
  弱い教師付きセマンティックセマンティックセグメンテーション(WSSS)は、ノイズの多い未特定の手がかりから密集したマスクを学習しなければならない。 3つの小さな相乗的変化は、MiTバックボーンを変更することなく、弱い監督を著しく効果的にすることを示した。 提案手法であるCrispFormerは,(1)軽量エッジヘッドと境界認識損失を用いて細い物体の輪郭を監督する境界分岐,(2)画素ごとの不確かさを予測し,重み付けとセグメント化ログの残差補正に使用する不確実性誘導型精細化器,(3)静的結合を置き換える動的マルチスケール融合層をデコーダに拡張する。
  論文  参考訳（メタデータ） (2025-11-24T22:40:57Z)
• Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech [51.14752758616364]
  音声による抑うつ検出 (SDD) は、従来の臨床評価に代わる有望で非侵襲的な代替手段である。 HAREN-CTCは,マルチタスク学習フレームワーク内でのクロスアテンションを用いて,多層SSL機能を統合した新しいアーキテクチャである。 このモデルはDAIC-WOZで0.81、MODMAで0.82の最先端マクロF1スコアを達成し、両方の評価シナリオで先行手法より優れている。
  論文  参考訳（メタデータ） (2025-10-05T09:32:12Z)
• Mind the Links: Cross-Layer Attention for Link Prediction in Multiplex Networks [1.2006896500048552]
  多重グラフは共有ノード間の多様な関係をキャプチャする。 ほとんどの予測器は層を崩壊させるか、独立して扱う。 マルチビューエッジ分類として多重化リンク予測を行う。
  論文  参考訳（メタデータ） (2025-09-27T16:55:15Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Point-M2AE: Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-training [56.81809311892475]
  Masked Autoencoders (MAE) は、言語と2次元画像変換器の自己教師付き事前学習において大きな可能性を示している。 我々は3次元点雲の階層的自己教師型学習のための強力なマルチスケールMAE事前学習フレームワークであるPoint-M2AEを提案する。
  論文  参考訳（メタデータ） (2022-05-28T11:22:53Z)
• Encoder-decoder with Multi-level Attention for 3D Human Shape and Pose Estimation [61.98690211671168]
  本稿では,マルチレベルアテンション・デコーダ・ネットワーク(MAED)を提案する。 3DPWのトレーニングセットにより、MAEDはPA-MPJPEの6.2、7.2、2.4mmの従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-06T09:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。