論文の概要: SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data

• arxiv url: http://arxiv.org/abs/2602.14687v1
• Date: Mon, 16 Feb 2026 12:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.395548
• Title: SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data
• Title（参考訳）: SynthSAEBench: スケーラブルな現実的合成データによるスパースオートエンコーダの評価
• Authors: David Chanin, Adrià Garriga-Alonso,
• Abstract要約: 本稿では,現実的な特徴を持つ大規模合成データを生成するためのツールキットであるSynthSAEBenchを紹介する。 本ベンチマークでは,再現性指標と潜時品質指標との解離を含む,以前に観測されたLSM SAE現象を再現する。 マッチング・パースーツSAEは、重ね合わせノイズを利用して、地味な特徴を学習せずに再構築を改善する。
• 参考スコア（独自算出の注目度）: 7.429838797007225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving Sparse Autoencoders (SAEs) requires benchmarks that can precisely validate architectural innovations. However, current SAE benchmarks on LLMs are often too noisy to differentiate architectural improvements, and current synthetic data experiments are too small-scale and unrealistic to provide meaningful comparisons. We introduce SynthSAEBench, a toolkit for generating large-scale synthetic data with realistic feature characteristics including correlation, hierarchy, and superposition, and a standardized benchmark model, SynthSAEBench-16k, enabling direct comparison of SAE architectures. Our benchmark reproduces several previously observed LLM SAE phenomena, including the disconnect between reconstruction and latent quality metrics, poor SAE probing results, and a precision-recall trade-off mediated by L0. We further use our benchmark to identify a new failure mode: Matching Pursuit SAEs exploit superposition noise to improve reconstruction without learning ground-truth features, suggesting that more expressive encoders can easily overfit. SynthSAEBench complements LLM benchmarks by providing ground-truth features and controlled ablations, enabling researchers to precisely diagnose SAE failure modes and validate architectural improvements before scaling to LLMs.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)の改善には、アーキテクチャのイノベーションを正確に検証できるベンチマークが必要である。 しかしながら、現在のLSMのSAEベンチマークはアーキテクチャ上の改善を区別するにはノイズが多すぎることが多く、現在の合成データ実験は小さすぎるため、意味のある比較を提供するには非現実的である。 我々はSynthSAEBench, 相関, 階層, 重ね合わせを含むリアルな特徴を持つ大規模合成データを生成するツールキット, および標準ベンチマークモデルであるSynthSAEBench-16kを導入し, SAEアーキテクチャの直接比較を可能にする。 本ベンチマークでは,再現性と潜時品質の指標との切り離し,SAEの粗悪な探索結果,L0を介する高精度リコールトレードオフなどの既往のLSM SAE現象を再現した。 マッチング パースーツSAEは、重畳ノイズを利用して、地味な特徴を学習することなく再構成を改善することで、より表現力のあるエンコーダが容易に過度に適合できることを示唆する。 SynthSAEBenchは、SAE障害モードを正確に診断し、LLMにスケーリングする前にアーキテクチャ改善を検証できるように、基盤構造と制御された改善を提供することで、LCMベンチマークを補完する。

関連論文リスト

• InfoSynth: Information-Guided Benchmark Synthesis for LLMs [69.80981631587501]
  大規模言語モデル (LLM) は推論やコード生成において大きな進歩を見せている。 従来のベンチマーク作成は人手による作業に依存しています。 この作業では、推論ベンチマークの自動生成と評価のための新しいフレームワークであるInfo Synthを紹介した。
  論文  参考訳（メタデータ） (2026-01-02T05:26:27Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• HandCraft: Dynamic Sign Generation for Synthetic Data Augmentation [0.0]
  手話認識モデルは、トレーニングデータの可用性が不十分なため、大幅なパフォーマンス上の制限に直面します。 本稿では,CMLPeに基づく新規かつ軽量な手話生成モデルを提案する。 このモデルは、合成データ事前学習アプローチと組み合わせて、認識精度を一貫して改善する。
  論文  参考訳（メタデータ） (2025-08-20T01:38:24Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• SWE-Synth: Synthesizing Verifiable Bug-Fix Data to Enable Large Language Models in Resolving Real-World Bugs [10.70881967278009]
  本稿では,現実的な検証可能な,プロセス対応のバグフィックスデータセットをリポジトリレベルで合成するフレームワークであるSWE- Synthを紹介する。 手作業で収集したデータセットと比較して、文脈的豊かさと正確さを保ちながら、最小限の人的労力でスケールする。 この結果から,APRとソフトウェア工学の自動化の最先端を推し進めるために,人工エージェント生成データの可能性を強調した。
  論文  参考訳（メタデータ） (2025-04-20T22:37:43Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。