論文の概要: When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2609.36294v1
- Date: Mon, 28 Sep 2026 21:24:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.019608
- Title: When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
- Title（参考訳）: 木が十分でないとき:適応グラフスパースオートエンコーダを用いた混合トポロジー特徴グラフの学習
- Abstract要約: 適応グラフスパースオートエンコーダ(AG-SAE)を導入する。
AG-SAEは、各機能の完全な親セットを原子構造仮説として扱う構造誘導トレーニングパラダイムである。
実験は、制御されたおもちゃモデルにおいて正確な混合トポロジー回復を示す。
- 参考スコア（独自算出の注目度）: 15.316759732810409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoders (SAEs) expose interpretable features in large language model activations, yet existing structured SAEs impose single-parent trees or forests, while post-hoc graphs permit multiple parents but neither guide feature learning nor ensure reliable relation recovery. We introduce the Adaptive Graph Sparse Autoencoder (AG-SAE), a structure-guided training paradigm that treats each feature's complete parent set as an atomic structural hypothesis and lets evidence select zero, one, or multiple parents. By competing complete parent sets against null, subset, and alternative explanations, AG-SAE identifies jointly necessary multi-parent relations while rejecting redundant or spurious alternatives and verifying that each child contributes beyond its parents. The induced topology over SAE features then defines a differentiable structural loss that guides SAE training, while topology-guided refinement mitigates feature absorption and uses persistent reconstruction gaps exposed by the learned structure to initialize new features. The entire graph is then induced again from the revised dictionary by reassessing every feature's complete parent set, closing the dictionary-graph self-consistency cycle. Experiments demonstrate exact mixed-topology recovery in a controlled toy model, greater relational reliability and semantic validity than structured and post-hoc baselines on real LLM activations, and stronger feature-level causal interventions than conventional SAE features. AG-SAE thereby turns recovered mixed-topology feature structure into an unsupervised training signal that improves the dictionary, enables reliable feature organization beyond the topological limitations of trees, and exhibits stronger causal control beyond reconstruction.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大きな言語モデルのアクティベーションにおいて解釈可能な特徴を公開するが、既存の構造化SAEは単一親木や森林を課し、ポストホックグラフは複数の親を許すが、特徴学習も信頼性の高い関係回復も保証しない。
本稿では,アダプティブグラフスパースオートエンコーダ(AG-SAE)を紹介し,各特徴の完全親集合を原子構造仮説として扱い,0,1,複数親をエビデンスに選択させる構造誘導学習パラダイムを提案する。
null、サブセット、代替的な説明に対して完全な親セットを競合させることにより、AG-SAEは、冗長または刺激的な代替を拒絶し、それぞれの子供が両親を超えて貢献することを検証しながら、共同で必要な複数親関係を識別する。
SAE上の誘発トポロジは、SAEトレーニングをガイドする異なる構造的損失を定義し、トポロジ誘導の洗練は特徴吸収を緩和し、学習された構造によって露出された永続的な再構成ギャップを使用して新しい特徴を初期化する。
グラフ全体は、すべての特徴の完全な親集合を再評価し、辞書グラフの自己整合サイクルを閉じることで、改訂された辞書から再び誘導される。
実験では、制御玩具モデルにおける正確な混合トポロジー回復、実LLM活性化に対する構造的およびポストホックベースラインよりも高い関係信頼性と意味論的妥当性、従来のSAE特徴よりも強力な特徴レベルの因果介入が示された。
そのため、AG-SAEは、復元された混合トポロジーの特徴構造を教師なしの訓練信号に変換し、辞書を改善し、ツリーのトポロジー的限界を超えた信頼性の高い特徴組織を可能にし、再構築を超えてより強力な因果制御を示す。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders [15.761881465116124]
階層レベル間のより深い機能的リンクを強制する新しい再構築条件を導入する。
アクティベーション制約と再構成制約を組み合わせることで,特徴集合内から直接階層構造を学習するモデルであるTree SAEを提案する。
以上の結果から,ツリーSAEは階層的なペアの学習において既存のSAEをはるかに上回りながら,いくつかの重要なベンチマークにおいて最先端の競争性能を維持していることが明らかとなった。
論文 参考訳（メタデータ） (2026-05-08T15:57:37Z) - From Atoms to Trees: Building a Structured Feature Forest with Hierarchical Sparse Autoencoders [12.294297654425334]
階層的スパースオートエンコーダ(HSAE)は、一連のSAEとそれらの特徴間の親子関係を学習する。
我々の研究は、言語表現に埋め込まれたマルチスケールの概念構造を発見し解析するための、強力でスケーラブルなツールを提供する。
論文 参考訳（メタデータ） (2026-02-12T12:30:23Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳（メタデータ） (2026-01-13T03:35:18Z) - Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit [23.806945495163774]
スパースオートエンコーダ(SAE)は近年,解釈可能性の中心的なツールとなっている。
本稿では,MNISTを用いた制御環境でのSAEの評価を行う。
我々はそれらをMP-SAE(Matching Pursuit)をアンロールする反復SAEと比較する。
論文 参考訳（メタデータ） (2025-06-05T16:57:58Z) - ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。
シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。
検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
論文 参考訳（メタデータ） (2025-06-01T09:34:20Z) - Global Structure Knowledge-Guided Relation Extraction Method for
Visually-Rich Document [37.05334263712291]
本稿では,GlObal Structure Knowledge-Guided Relation extract (GOSE) フレームワークを提案する。
GOSEは、文書のスキャン画像から抽出されたエンティティペアの予備関係予測を生成して開始する。
グローバル構造知識は、前回の反復予測から取得され、エンティティの表現に組み込まれる。
論文 参考訳（メタデータ） (2023-05-23T09:18:47Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳（メタデータ） (2021-06-08T14:20:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。