論文の概要: Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery

• arxiv url: http://arxiv.org/abs/2609.35521v1
• Date: Mon, 28 Sep 2026 16:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:07:10.041157
• Title: Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery
• Title（参考訳）: Beyond Token Scale: 信頼性の高いセマンティックな特徴発見のためのチャンクレベルスパースオートエンコーダ
• Abstract要約: スパースオートエンコーダ(SAE)は,言語モデルの理解とステアリングを支援する機能を公開するが,忠実な再構築は情報的概念を保証するものではない。 チャンク上の平均プール活性化をエンコードするチャンクレベルのSAEのファミリーを導入します。 一致したトレーニングデータでは、チャンクレベルのSAEは信頼性のあるセマンティック機能を学びながら、強力な解釈可能性ツールのままである。
• 参考スコア（独自算出の注目度）: 31.533455413979357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) expose features that help us understand and steer language models, but faithful reconstruction does not guarantee informative concepts. Token-level objectives reward lexical and formatting details alongside semantic content, all competing for a limited sparse budget. We introduce a family of chunk-level SAEs that encode mean-pooled activations over chunks, each a contiguous span of tokens: Mean-Chunk reconstructs the observed chunk, Cross-Chunk predicts an independently processed neighbor, and Joint-Chunk combines both targets. These designs separate the effect of a larger observation unit from that of predicting information shared across passages. With matched training data, chunk-level SAEs remain powerful interpretability tools while learning reliable semantic features that capture high-level concepts and respond selectively to relevant content. Their strengths are complementary: Mean-Chunk improves high-level feature discovery, reasoning detection beyond surface cues, and steering; Cross-Chunk leads document retrieval and classification transfer while producing selective, persistent features. Changing what an SAE sees and predicts yields reliable semantic features for more meaningful tasks. We demonstrate their practical value through gains across downstream tasks such as retrieval, reasoning detection, and steering.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は,言語モデルの理解とステアリングを支援する機能を公開するが,忠実な再構築は情報的概念を保証するものではない。 トークンレベルの目的は、構文やフォーマットの詳細をセマンティックコンテンツと共に報酬する。 我々は,チャンク上での平均プール活性化を符号化するチャンクレベルのSAE群を紹介した。平均チャンクは観察されたチャンクを再構成し,クロスチャンクは独立に処理された隣人を予測し,ジョイントチャンクは両方の目標を結合する。 これらの設計は、より大きな観測ユニットの効果を、通路間で共有される情報を予測するものから切り離している。 一致したトレーニングデータでは、チャンクレベルのSAEは強力な解釈可能性ツールのままであり、高レベルの概念をキャプチャし、関連するコンテンツに選択的に応答する信頼性の高いセマンティック機能を学ぶ。 Mean-Chunkは、高レベルの特徴発見、表面の手がかりを超えた推論検出、ステアリングを改善し、Cross-Chunkは、選択的で永続的な特徴を生成しながら、文書の検索と分類の転送を導く。 SAEが見たものを変えて予測することは、より意味のあるタスクに対して信頼できるセマンティックな特徴をもたらす。 我々は,検索,推論検出,ステアリングなどの下流タスクにおけるゲインを通じて,それらの実践的価値を実証する。

関連論文リスト

• LUCID-SAE: Learning Unified Vision-Language Sparse Codes for Interpretable Concept Discovery [14.222802170483739]
  LUCIDは、画像パッチとテキストトークン表現のための共有潜在辞書を学習する視覚言語スパースオートエンコーダである。 LUCIDは、パッチレベルのグラウンド化をサポートし、クロスモーダルなニューロン対応を確立し、概念クラスタリング問題に対する堅牢性を高める、解釈可能な共有特徴をもたらす。 我々の分析では、LUCIDの共有機能は、アクション、属性、抽象概念を含む、オブジェクト以外の多様なセマンティックなカテゴリをキャプチャする。
  論文  参考訳（メタデータ） (2026-02-07T02:01:25Z)
• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• LIRA: Inferring Segmentation in Large Multi-modal Models with Local Interleaved Region Assistance [54.683384204063934]
  大規模マルチモーダルモデル(LMM)は不正確なセグメンテーションと幻覚的理解に苦しむ。 視覚的理解とセグメンテーションの相補的関係を生かしたフレームワークであるLIRAを提案する。 LIRAはセグメンテーションと理解タスクの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-08T07:46:26Z)
• Interpret and Control Dense Retrieval with Sparse Latent Features [18.843817998618384]
  本稿では,スパース・オートエンコーダ (SAE) を用いた新しい手法を提案する。 実験結果から, 学習した潜在スパース特徴と再構成された埋め込みはともに, 元の高密度ベクトルとほぼ同じ精度を保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-17T14:59:48Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。