論文の概要: SharedSAE: One Feature Dictionary Across Language Models

• arxiv url: http://arxiv.org/abs/2609.04344v1
• Date: Thu, 03 Sep 2026 18:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.778439
• Title: SharedSAE: One Feature Dictionary Across Language Models
• Title（参考訳）: SharedSAE: 言語モデルにまたがる1つの機能辞書
• Abstract要約: 1つの共有SAEが、モデルごとのSAEのコレクションを置き換えることができることを示す。 提案手法は,共有辞書とモデル固有のエンコーダとデコーダのペアを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 30.4456371305745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are widely used to interpret language model activations, but SAE training and latent labelling are typically repeated for every model. Here, we show that a single shared SAE can replace a collection of dedicated per-model SAEs. Our method, SharedSAE, combines a shared dictionary with model-specific encoder-decoder pairs. Unlike the closest prior method, which discards activation magnitudes and requires all models at inference, SharedSAE instead normalizes only selection scores, preserving magnitudes, and uses model dropout for single-model inference. We train SharedSAE on four 1B-scale base language models spanning distinct families and tokenizers. Despite sharing its latents across models, SharedSAE retains 96.6% of dedicated SAEs' mean explained variance; its latent activations exhibit cross-model correlations 1.8 times as high as separate SAEs aligned post-hoc, and its latent descriptions transfer across models. After the dictionary is frozen, new models can be efficiently adapted to it, achieving near-dedicated-SAE reconstruction quality while reusing the shared latent descriptions.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は言語モデルのアクティベーションの解釈に広く用いられているが、SAEトレーニングや潜時ラベリングは通常、すべてのモデルに対して繰り返される。 ここでは、単一の共有SAEが、モデルごとのSAEのコレクションを置き換えることができることを示す。 提案手法は,共有辞書とモデル固有のエンコーダとデコーダのペアを組み合わせたものである。 アクティベーションのマグニチュードを廃止し、推論時にすべてのモデルを必要とする最寄りのメソッドとは異なり、SharedSAEは選択スコアのみを正規化し、マグニチュードを保存し、単一モデル推論にモデルドロップアウトを使用する。 異なるファミリーやトークン化ツールにまたがる4つの1Bスケールのベース言語モデルでSharedSAEをトレーニングします。 SharedSAEは、モデル間でレイトトを共有しているにもかかわらず、専用SAEの平均的な説明分散の96.6%を保持しており、そのレイトトアクティベーションは、別々のSAEが連携したポストホックの1.8倍の高さのクロスモデル相関を示す。 辞書を凍結した後、新しいモデルを効率的に適応させ、共有された潜在記述を再利用しながら、ほぼ指定されたSAE再構成品質を達成する。

関連論文リスト

• One Adapter Pair per Model: A Universal Activation Interface for Language Models [7.154775354163099]
  アクティベーションベースのツールは、通常、あるモデルのネイティブな隠れスペースに結びついている。 互換性のある言語モデル間で共通のアクティベーションインターフェースを提供するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-10T12:21:36Z)
• When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging [39.696384608482255]
  SVC(Singular Value)は、サブスペースの重なり合いを定量化し、特異値を再スケールしてバランスの取れたスペクトルを復元するトレーニングフリーでデータフリーな後処理手法である。 SVCは、強力なマージベースラインを一貫して改善し、ビジョンと言語ベンチマーク間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-05T10:52:36Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Inference-Time Decomposition of Activations (ITDA): A Scalable Approach to Interpreting Large Language Models [5.585690587630886]
  Inference-Time Decomposition of Activation(ITDA)モデルは、言語モデルのアクティベーションを分解する代替手法である。 ITDAは、データの1%を使用して、SAEに必要な時間のわずか1%でトレーニングすることができる。
  論文  参考訳（メタデータ） (2025-05-23T11:41:41Z)
• Ensembling Sparse Autoencoders [10.81463830315253]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を人間の解釈可能な特徴に分解するために用いられる。 我々は,複数のSAEを包括的袋詰めとブースティングによりアンサンブルすることを提案する。 実験の結果,SAEのアンサンブルにより,言語モデルの活性化,特徴の多様性,SAEの安定性が向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T23:31:21Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• Token-level Ensembling of Models with Different Vocabularies [16.094010998574753]
  モデルアンサンブル(英: Model ensembling)は、2つ以上のモデルの予測分布を組み合わせる手法である。 本稿では,異なる語彙でモデルを組み立てる推論時間のみのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-28T17:41:27Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Self-Supervised Open-Ended Classification with Small Visual Language Models [60.23212389067007]
  我々は、小さな視覚言語モデルを用いたオープンエンド分類のための数ショットの能力を解放する自己教師型アプローチであるSeCAtを提案する。 約1Bパラメータを持つモデルを使用することで、FrozenやBrobAGeといった、はるかに大きなモデルの少数ショット能力より優れています。
  論文  参考訳（メタデータ） (2023-09-30T21:41:21Z)
• Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation [47.33223015862104]
  本稿では,観測されたテキストから遅延シーケンス推論を行うVSARという新しい教師なしモデルを提案する。 また、テキストペアからの情報を活用するために、提案したVSARモデルと統合するために設計されたDDLと呼ばれる新しい教師付きモデルを導入する。 実験により, このモデルを組み合わせることで, 完全データに基づく最先端の教師付きベースラインに対して, 競争性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-01-05T19:35:30Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model Extraction Attack against Self-supervised Speech Models [52.81330435990717]
  自己教師付き学習(SSL)音声モデルは、与えられたクリップの有意義な表現を生成する。 モデル抽出攻撃 (MEA) は、しばしば、クエリアクセスのみで被害者モデルの機能を盗む敵を指す。 本稿では,少数のクエリを用いたSSL音声モデルに対するMEA問題について検討する。
  論文  参考訳（メタデータ） (2022-11-29T09:28:05Z)
• CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing [83.63107444454938]
  本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。 具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。 大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-04-13T19:54:51Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。