論文の概要: When Are Two SAE Latents the Same Feature?

• arxiv url: http://arxiv.org/abs/2611.05655v1
• Date: Tue, 03 Nov 2026 21:39:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.855733
• Title: When Are Two SAE Latents the Same Feature?
• Title（参考訳）: 2つのSAEが同じ特徴を持つのはいつか?
• Abstract要約: オートエンコーダ(SAE)の比較には,特徴対応の接続,辞書間の差異,有限評価データからの不確実性が必要である。 本研究では, エネルギー重み付き最適輸送計画によってこれらのタスクを接続するフレームワークを, 特定の類似性幾何の下で開発する。
• 参考スコア（独自算出の注目度）: 39.85852082789963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparing sparse autoencoders (SAEs) requires connecting feature correspondence, differences between whole dictionaries, and uncertainty from finite evaluation data. We develop a framework that connects these tasks through an energy-weighted optimal-transport plan under a specified similarity geometry. The same plan defines a dictionary-level discrepancy, decomposes it into latent contributions, and quantifies how each latent's mass is distributed across counterparts. We characterize relationships between decoder, activation, and first-order causal similarities; idealized models clarify the interpretation of splitting and absorption. For fixed trained SAEs, we derive joint asymptotic inference for transport costs and fractions, accounting for activation similarities and both energy marginals estimated from the same documents. A joint document bootstrap gives asymptotically valid simultaneous confidence bands. Experiments across four language models locate cross-seed discrepancy and separate context-dependent changes.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)の比較には、特徴対応の接続、辞書全体の差異、有限評価データからの不確実性が必要である。 本研究では, エネルギー重み付き最適輸送計画によってこれらのタスクを接続するフレームワークを, 特定の類似性幾何の下で開発する。 同じ計画では、辞書レベルの不一致を定義し、それを潜伏貢献に分解し、各潜伏者の質量がどのように分散しているかを定量化する。 我々は,デコーダ,アクティベーション,一階因果類似性の関係を特徴付け,分割と吸収の解釈を明らかにする。 固定訓練SAEでは,同一の文書から推定した活性化類似性および両エネルギー限界性を考慮した,輸送コストと分断の同時漸近推論を導出する。 共同文書ブートストラップは、漸近的に有効な同時信頼バンドを与える。 4つの言語モデルにまたがる実験では、クロスシードの相違とコンテキスト依存の変更が検出される。

関連論文リスト

• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。