論文の概要: SMIXAE: Towards Unsupervised Manifold Discovery in Language Models

• arxiv url: http://arxiv.org/abs/2605.09224v1
• Date: Sat, 09 May 2026 23:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.123934
• Title: SMIXAE: Towards Unsupervised Manifold Discovery in Language Models
• Title（参考訳）: SMIXAE: 言語モデルにおける教師なしマニフォールド発見を目指して
• Abstract要約: スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を分解し解釈するために広く使われている。 SAEの大きな問題の1つは、多次元の機能を直接モデル化できないことである。 我々は、オートエンコーダアーキテクチャのスパースMIXtureを導入し、この問題に対処し始める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sparse autoencoders (SAEs) have been used widely to decompose and interpret neural network activations, especially those of transformer language models. One key issue with SAEs is their inability to directly model multidimensional features. Instead, SAEs may tile such features by a set of independent directions that must be grouped together after the SAE training phase, impeding discoverability and interpretation of learned feature representations. We begin to address this issue by introducing the Sparse MIXture of Autoencoders (SMIXAE) architecture. Empirically, we provide evidence that SMIXAE models have success both in directly learning previously identified manifold structures, as well as finding novel structures, within the open source Gemma 2 2B and 9B models. Finally, we discuss several limitations and point towards areas for future work.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、ニューラルネットワーク、特にトランスフォーマー言語モデルの活性化を分解・解釈するために広く用いられている。 SAEの大きな問題の1つは、多次元の機能を直接モデル化できないことである。 代わりに、SAEは、学習された特徴表現の発見可能性や解釈を妨げるため、SAEトレーニングフェーズ後にグループ化されなければならない独立した方向のセットによって、そのような特徴をタイル化することができる。 Sparse MIXture of Autoencoders (SMIXAE)アーキテクチャを導入してこの問題に対処し始める。 実験的に、SMIXAEモデルが、以前に同定された多様体構造を直接学習し、また、オープンソースのGemma 2Bおよび9Bモデルの中で、新しい構造を見つけることに成功していることを示す。 最後に、いくつかの制約と今後の作業領域について論じる。

関連論文リスト

• Mechanistic Interpretability of ASR models using Sparse Autoencoders [2.835219195516112]
  ディープトランスフォーマーに基づくNLPモデルの内部メカニズムは、大半が謎のままである。 スパースオートエンコーダ(SAE)は、密度の高い表現をスパースベクトルに投影することで、これらのメカニズムを理解するために登場した。 本研究では、トランスフォーマーベースのASRであるWhisperにSAEを適用し、Whisperエンコーダから抽出したフレームレベルの埋め込みに対して、高次元のスパース潜在空間をトレーニングする。
  論文  参考訳（メタデータ） (2026-05-12T15:02:20Z)
• Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
  我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
  論文  参考訳（メタデータ） (2026-05-12T10:01:06Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Ensembling Sparse Autoencoders [10.81463830315253]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を人間の解釈可能な特徴に分解するために用いられる。 我々は,複数のSAEを包括的袋詰めとブースティングによりアンサンブルすることを提案する。 実験の結果,SAEのアンサンブルにより,言語モデルの活性化,特徴の多様性,SAEの安定性が向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T23:31:21Z)
• Stack Transformer Based Spatial-Temporal Attention Model for Dynamic Sign Language and Fingerspelling Recognition [1.949837893170278]
  手話に基づく手話認識は、聴覚障害者と非聴覚障害者の間に重要な橋渡しとなる。 本稿では,新しいトランスフォーマーアーキテクチャであるSSTAN(Sequential Spatio-Temporal Attention Network)を提案する。 多様な大規模データセットに関する広範な実験を通じて、我々のモデルを検証した。
  論文  参考訳（メタデータ） (2025-03-21T04:57:18Z)
• Interpreting CLIP with Hierarchical Sparse Autoencoders [8.692675181549117]
  サエマトリオシュカ(MSAE)は複数の粒度の階層的表現を同時に学習する。 MSAEは、CLIPの再構築品質とスパーシリティの間に新しい最先端のフロンティアを確立する。
  論文  参考訳（メタデータ） (2025-02-27T22:39:13Z)
• Transformers Use Causal World Models in Maze-Solving Tasks [49.67445252528868]
  我々は迷路解決タスクで訓練されたトランスフォーマーで世界モデルを特定する。 機能を抑圧するよりも、機能をアクティベートする方が簡単であることが分かりました。 位置符号化方式は、モデルの残留ストリーム内でのワールドモデルがどのように構成されているかに影響を与えるように見える。
  論文  参考訳（メタデータ） (2024-12-16T15:21:04Z)
• One-Step is Enough: Sparse Autoencoders for Text-to-Image Diffusion Models [31.493126840872417]
  我々は、数ステップのテキスト・画像拡散モデルであるSDXL Turboの解釈可能な機能を学ぶためにSAEを訓練する。 学習した特徴は解釈可能であり、生成プロセスに因果的に影響を与え、ブロック間の特殊化を明らかにする。 本研究は,テキスト・画像拡散モデルにおけるSAEの解釈可能性に関する最初の研究である。
  論文  参考訳（メタデータ） (2024-10-28T19:01:18Z)
• Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
  スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。 我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。 基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
  論文  参考訳（メタデータ） (2024-10-27T17:33:49Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。