論文の概要: Parts-of-Speech as Emergent Categories in SAE Latent Space

• arxiv url: http://arxiv.org/abs/2609.29362v1
• Date: Thu, 24 Sep 2026 10:40:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.845217
• Title: Parts-of-Speech as Emergent Categories in SAE Latent Space
• Title（参考訳）: SAE潜時空間における創発的カテゴリとしての音声の一部
• Abstract要約: モルフォシンタクティック情報は,個々の潜伏者や特徴群によって符号化されているかを検討した。 SAEの活性化からPoSの区別は高度に回復可能であるが, 1対1の潜伏/カテゴリーマッピングと一致しない。 以上の結果から,SAEは原子文法的特徴を介さずに,形態・音韻情報を分散的・カテゴリー依存形式で局所化することが明らかとなった。
• 参考スコア（独自算出の注目度）: 77.6227710886276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse AutoEncoders (SAEs) offer a promising way to inspect language model representations, but it is still unclear what kind of linguistic structure their latents expose. We use part-of-speech (PoS) categories as a controlled test case to study whether morpho-syntactic information is encoded by individual latents or by structured groups of features. We find that PoS distinctions are highly recoverable from SAE activations, but do not align with one-to-one latent / category mappings. This recoverability is not reducible to lexical memorisation, and Open and Closed PoS classes differ substantially. Categories are supported by compact groups of sparse latents, with substantial variation across tags. These groups remain stable on held-out data, while also showing overlap between related categories. Our results show that SAEs localise morpho-syntactic information in a distributed and category-dependent form rather than through atomic grammatical features.
• Abstract（参考訳）: Sparse AutoEncoders (SAEs) は言語モデル表現を検査する有望な方法を提供しているが、どの言語構造が潜伏しているのかは不明だ。 制御されたテストケースとしてパート・オブ・音声(PoS)のカテゴリを使用して,モルフォシンタクティック情報が個々の潜伏者によってコード化されているか,あるいは特徴の構造化グループによってコード化されているかを調べる。 SAEの活性化からPoSの区別は高度に回復可能であるが, 1対1の潜伏/カテゴリーマッピングと一致しない。 この回復性は語彙記憶では再現できず、オープンとクローズドのPoSクラスは著しく異なる。 カテゴリはスパースラテントのコンパクトなグループによってサポートされ、タグ間でかなりのバリエーションがある。 これらのグループは、保持されたデータ上で安定し、関連するカテゴリ間で重複を示す。 以上の結果から,SAEは原子文法的特徴を介さずに,形態・音韻情報を分散的・カテゴリー依存形式で局所化することが明らかとなった。

関連論文リスト

• Tracing Stereotypes from Representation to Output in Multilingual LLMs [12.102952559278677]
  多言語多言語LLMは、言語によって異なるステレオタイプに関連した振る舞いを示す。 行動スコアは、関連する情報がどこに表現されているか、それが出力にどのように影響するかを示すものではない。 線形探索,帰属パッチ,スパースオートエンコーダ(SAE),特徴アブレーションを比較した。
  論文  参考訳（メタデータ） (2026-09-08T06:45:30Z)
• Beyond a Bag of Features: Set-Level Instability in Sparse Autoencoders [1.4528756508275622]
  我々は、より解釈可能な類似度尺度として、アクティブスパースオートエンコーダ(SAE)潜在集合をオーバーラップする。 SAEアクティベーションセットは、密埋め込みや残留ストリーム状態よりも、人間のカテゴリ境界やカテゴリ内典型性を忠実に回復しないことがわかった。
  論文  参考訳（メタデータ） (2026-08-11T17:55:59Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Split Matching for Inductive Zero-shot Semantic Segmentation [56.47556212515178]
  Zero-shot Semantic (ZSS)は、トレーニング中にアノテートされていないカテゴリをセグメントすることを目的としている。 ハンガリーのマッチングを2つのコンポーネントに分離する新しい割当て戦略であるSplit Matching (SM)を提案する。 SMは、インダクティブZSS設定の下で最初に分離されたハンガリー語マッチングを導入し、2つの標準ベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-05-08T07:56:30Z)
• Prompt Categories Cluster for Weakly Supervised Semantic Segmentation [20.37668418178215]
  弱監視セマンティックス (WSSS) はその費用対効果のために大きな注目を集めている。 本稿では,Prompt Categories Clustering(PCC)と呼ばれる新しいWSSSフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-12-18T13:11:58Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Asking without Telling: Exploring Latent Ontologies in Contextual Representations [12.69022456384102]
  事前学習した文脈エンコーダは、明示的な監督なしに言語構造の意味ある概念を符号化する。 その結果,既存のアノテーションからの離脱を含む事前学習エンコーダにおける創発的構造を示す新たな証拠が得られた。
  論文  参考訳（メタデータ） (2020-04-29T23:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。