論文の概要: Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2605.07922v2
• Date: Mon, 11 May 2026 02:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 16:21:29.417779
• Title: Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders
• Title（参考訳）: ツリーSAE:スパースオートエンコーダにおける階層的特徴構造学習
• Authors: Tue M. Cao, Hoang X. Nhat, Raed Alharbi, Phi Le Nguyen, My T. Thai,
• Abstract要約: 階層レベル間のより深い機能的リンクを強制する新しい再構築条件を導入する。 アクティベーション制約と再構成制約を組み合わせることで,特徴集合内から直接階層構造を学習するモデルであるTree SAEを提案する。 以上の結果から,ツリーSAEは階層的なペアの学習において既存のSAEをはるかに上回りながら,いくつかの重要なベンチマークにおいて最先端の競争性能を維持していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 15.761881465116124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning hierarchical features in Sparse Autoencoders (SAEs) is essential for capturing the structured nature of real-world data and mitigating issues like feature absorption or splitting. Existing works attempt to identify hierarchical relationships within independent feature sets by relying on activation coverage, the assumption that child feature should only activate when its parent feature activates. However, we demonstrate that this condition alone is insufficient; that is, it often produces false positives where parent and child concepts are semantically unrelated. To address this, we introduce a novel reconstruction condition that enforces a deeper functional link between hierarchical levels. By combining both activation and reconstruction constraints, we propose the Tree SAE, a model designed to learn hierarchical structures directly from within the feature set. Our results demonstrate that Tree SAEs significantly surpass the existing SAEs at learning hierarchical pairs while maintaining competitive performance to the state-of-the-art on several key benchmarks. Finally, we demonstrate the practical utility of our Tree SAE in mapping the geometry of child feature subspaces and uncovering the complex hierarchical concept structures encoded within large language models.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)における階層的特徴の学習は、現実世界のデータの構造的性質を捉え、機能の吸収や分割といった問題を緩和するために不可欠である。 既存の作業は、アクティベーションカバレッジに依存することで、独立した機能セット内の階層的関係を識別しようとする。 しかし、この条件だけでは不十分であり、親子の概念が意味的に無関係な偽陽性を生じることがしばしばある。 そこで本稿では,階層レベル間のより深い機能的リンクを強制する,新しい再構築条件を提案する。 アクティベーション制約と再構成制約を組み合わせることで,特徴集合内から直接階層構造を学習するモデルであるTree SAEを提案する。 以上の結果から,ツリーSAEは階層的なペアの学習において既存のSAEをはるかに上回りながら,いくつかの重要なベンチマークにおいて最先端の競争性能を維持していることがわかった。 最後に、児童特徴部分空間の幾何学をマッピングし、大規模言語モデルにエンコードされた複雑な階層的概念構造を明らかにする上で、木SAEの実用性を実証する。

関連論文リスト

• Integrating SAINT with Tree-Based Models: A Case Study in Employee Attrition Prediction [0.0]
  本研究では,SAINT生成した埋め込みを木モデルに統合し,従業員の誘引予測を強化するハイブリッドアプローチについて検討する。 我々は,SAINT埋め込みと木に基づく分類器を組み合わせたスタンドアロンモデル(SAINT, XGBoost, LightGBM)とハイブリッドモデルの性能,一般化可能性,解釈可能性を評価した。
  論文  参考訳（メタデータ） (2026-04-11T19:51:01Z)
• Learning Order Forest for Qualitative-Attribute Data Clustering [52.612779710298526]
  本稿では,属性内定性値間の局所的な順序関係を柔軟に表現する木のような距離構造を探索する。 より適切な木構造とクラスタを反復的に獲得するために,共同学習機構を提案する。 実験により、共同学習は森林をクラスタリングタスクに適応させ、正確な結果を得ることを示した。
  論文  参考訳（メタデータ） (2026-03-03T07:49:50Z)
• Owen-based Semantics and Hierarchy-Aware Explanation (O-Shap) [6.096130289291087]
  視覚タスクでは、特徴はしばしば強い空間的および意味的依存関係を示す。 現代のSHAP実装には、グループ属性をサポートするShapley値の階層的な一般化であるOwen値が含まれている。 我々は,Owen値がShapley値の基礎を保っていることを示すが,その有効性は特徴群の定義方法に大きく依存する。 本稿では,階層レベルのセマンティックアライメントを確保するために,$T$-propertyを満たす新しいセグメンテーション手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T06:06:12Z)
• From Atoms to Trees: Building a Structured Feature Forest with Hierarchical Sparse Autoencoders [12.294297654425334]
  階層的スパースオートエンコーダ(HSAE)は、一連のSAEとそれらの特徴間の親子関係を学習する。 我々の研究は、言語表現に埋め込まれたマルチスケールの概念構造を発見し解析するための、強力でスケーラブルなツールを提供する。
  論文  参考訳（メタデータ） (2026-02-12T12:30:23Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation [7.5496857647335585]
  本稿では,HiSCG (Controller-Generator) の枠組みに基づいて文の階層的意味論を統合するアーキテクチャを提案する。 提案手法はEntailmentBankデータセットの3つの設定で同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-26T11:46:58Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Hierarchical Dependency Constrained Tree Augmented Naive Bayes Classifiers for Hierarchical Feature Spaces [0.0]
  階層的依存性に基づく2つの新しいツリー拡張ネイブベイズアルゴリズム,すなわちHie-TANとHie-TAN-Liteを提案する。 Hie-TANは、他の階層的依存制約分類アルゴリズムよりも優れた予測性能を得た。
  論文  参考訳（メタデータ） (2022-02-08T19:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。