論文の概要: Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

• arxiv url: http://arxiv.org/abs/2606.22994v1
• Date: Mon, 22 Jun 2026 08:12:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 02:56:13.150078
• Title: Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?
• Title（参考訳）: スパースオートエンコーダは、意味のある概念階層を学ぶか?
• Authors: Nils Grandien, David Steinmann, Felix Friedrich, Kristian Kersting,
• Abstract要約: 我々は、教師なし概念発見における一般化/特殊化階層の重要な要件の集合を導出する。 このプロトコルを視覚データに基づいて訓練された現在のSAEアプローチに適用すると、優れた階層構造を確立することは依然として困難であることがわかる。 特に、特徴吸収は、よく知られたハードフォームと連続したソフトフォームの両方で、体系的に階層品質を損なう。
• 参考スコア（独自算出の注目度）: 34.5057230491607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) have become an important tool for unsupervised concept discovery in large models. To make the resulting feature spaces more interpretable and manageable, recent approaches have begun imposing hierarchical structure, either explicitly or as an implicit effect of training constraints, yet rigorous comparison remains difficult. There are no agreed-upon requirements for what a meaningful feature hierarchy should satisfy, and evaluation has largely relied on qualitative illustrations with fragmented quantitative protocols. To address this, we derive a set of key requirements for generalization/specialization hierarchies in unsupervised concept discovery, drawing on semantic net and taxonomy research alongside recent SAE work, and use them to derive a concrete evaluation protocol. Applying this protocol to current SAE approaches trained on visual data, we find that while feature spaces generally provide a basis for sensible hierarchies, establishing good hierarchical structure remains challenging. In particular, feature absorption, both in its well-known hard form and in a continuous, soft form, systematically compromises hierarchy quality, pointing to a fundamental tension that future approaches will need to navigate.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大規模モデルにおいて教師なしの概念発見のための重要なツールとなっている。 結果として得られる特徴空間をより解釈可能で管理可能にするために、近年のアプローチでは、明示的あるいは暗黙的な訓練制約の効果として階層構造を導入し始めているが、厳密な比較は難しいままである。 意味のある機能階層が満足すべきものに対する合意された要求はなく、評価は、断片化された量的プロトコルを持つ定性的なイラストに大きく依存している。 そこで本研究では,非教師付き概念発見における一般化・特殊化階層の鍵となる要件の集合を導出し,最近のSAE研究と並行してセマンティックネットと分類学の研究を参考に,具体的な評価プロトコルの導出に活用する。 このプロトコルを視覚データに基づいて訓練された現在のSAEアプローチに適用すると、機能空間は一般的に意味のある階層の基盤を提供するが、優れた階層構造を確立することは依然として困難である。 特に、特徴吸収は、よく知られたハードフォームでも、継続的でソフトな形式でも、階層的な品質を体系的に損なう。

関連論文リスト

• A Unified Structured Query Understanding Framework for Industrial Semantic Search [9.913119853395205]
  大規模産業検索システムにおけるクエリ理解は、通常、異なるタスク固有のコンポーネントのカスケードとして実装される。 本研究では,これらの不均一な関数を単一小言語モデルに統合する統合型クエリ理解システムを提案し,展開する。 LinkedInのジョブ検索システム内で、大規模なオフラインおよびオンラインテストを通じてこのアプローチを検証する。
  論文  参考訳（メタデータ） (2026-05-22T19:35:15Z)
• Online Continual Learning with Dynamic Label Hierarchies [72.33335166136045]
  粒度をまたいで重大度が進化する新しい問題設定であるDHOCLを導入し,各サンプルは単一階層レベルでの監視を行う。 i) 混合粒度の部分的監視は、塑性を制約し、階層間のセマンティック一貫性を損なう、進化するパスワイド階層上のポイントワイド信号のみを提供する。 本稿では,相補的分類を適応的に組み合わせ,学習可能な階層型プロトタイプによって正規化し,素早い適応,階層的整合性,構造的知識の統合を可能にするHALOを提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:20:23Z)
• SC-Taxo: Hierarchical Taxonomy Generation under Semantic Consistency Constraints using Large Language Models [24.295783768613344]
  高品質の科学的分類法は、研究分野の構造的かつ階層的な表現を提供する。 既存の分類学のアプローチは、しばしば階層的なレベルの構造上の矛盾と意味的なミスアライメントに悩まされる。
  論文  参考訳（メタデータ） (2026-05-01T12:42:44Z)
• Beyond the Academic Monoculture: A Unified Framework and Industrial Perspective for Attributed Graph Clustering [75.50670592447219]
  分散グラフクラスタリング(AGC)は、構造トポロジとノード属性を共同でモデル化することによって、ノードを凝集性グループに分割する基本的な教師なしタスクである。 この調査は、3つの相補的な視点からAGCを包括的かつ工業的に基礎づけたレビューを提供する。
  論文  参考訳（メタデータ） (2026-03-21T14:15:34Z)
• Digging Deeper: Learning Multi-Level Concept Hierarchies [23.16720677779406]
  概念に基づくモデルは一般的に、人間の理解可能な概念で予測を説明するために徹底的なアノテーションに依存している。 マルチレベル概念分割(MLCS)を導入し,トップレベルの監督のみから多レベル概念階層を発見する。 また、発見された階層を表現し、複数の抽象化レベルでの介入を可能にするアーキテクチャであるDeep-HiCEMについても紹介する。
  論文  参考訳（メタデータ） (2026-03-10T12:48:20Z)
• Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining [58.69016084278948]
  我々は、arXiv:2307.02129によって導入された階層的な文脈自由文法を考察し、深層ネットワークと浅層ネットワークの分離を予想する。 弱い条件下では、深い畳み込みネットワークを効率的に訓練し、この関数クラスを学習できることを証明した。
  論文  参考訳（メタデータ） (2026-01-27T16:19:54Z)
• A Semantics-Aware Hierarchical Self-Supervised Approach to Classification of Remote Sensing Images [12.282079123411947]
  本稿では,階層的特徴と関係を学習するためのセマンティックス・アウェア・ヒエラルキー・コンセンサス(SAHC)手法を提案する。 SAHC法は、階層的な複雑さの異なる3つのベンチマークデータセットで評価される。 実験により,ネットワーク学習の指導における提案手法の有効性と,リモートセンシング画像分類タスクにおける階層的コンセンサスの有効性が示された。
  論文  参考訳（メタデータ） (2025-10-06T15:30:39Z)
• Predicate Hierarchies Improve Few-Shot State Classification [12.683069420087962]
  PHIERはオブジェクト中心のシーンエンコーダであり、述語間の意味的関係を推測する自己監督的損失と階層構造を捉える双曲距離メートル法である。 CALVIN と BEHAVIOR のロボット環境における PHIER の評価を行い,PHIER が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-18T03:08:37Z)
• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
  HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。 我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。 我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-10-18T17:56:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。