論文の概要: A Testable Theory of Atomic Features

• arxiv url: http://arxiv.org/abs/2610.05794v1
• Date: Mon, 05 Oct 2026 04:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:17:33.219362
• Title: A Testable Theory of Atomic Features
• Title（参考訳）: 原子の特徴の検証可能な理論
• Abstract要約: 我々は,原子的特徴が存在する言語モデル表現の理論を開発し,検証する。 このようなモデルでは、サイズが大きくなるスパース辞書(例えば、SAE)は、トレーニングデータの中で最も多い原子のプレフィックスを回復する。 これらの予測は、2つの大きな埋め込みモデルで訓練された512から131,072までのサイズのSAEに当てはまる。
• 参考スコア（独自算出の注目度）: 8.283029791278187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop and test a theory of language model representations in which there exist atomic features. Our main theoretical insight is that in such a model, sparse dictionaries (e.g., SAEs) of increasing size recover an increasing prefix of the most prevalent atoms in the training data. This "recovery principle" yields three testable predictions: many features in small SAEs are shared by all larger SAEs, SAEs trained on different data share features prevalent in both, and sufficiently large SAEs recover both parent and child features. In contrast to conventional wisdom that SAE features are unstable and "split" as size increases, we find that these predictions hold on SAEs of sizes ranging from 512 to 131,072 trained on two large embedding models. From a theoretical perspective, our results suggest the promise of a scientific theory of representations based on atomic features. Practically, our results suggest the promise of scaling SAEs.
• Abstract（参考訳）: 我々は,原子的特徴が存在する言語モデル表現の理論を開発し,検証する。 我々の理論的な考察は、そのようなモデルでは、サイズが大きくなるスパース辞書(例えば、SAEs)が、トレーニングデータの中で最も多い原子のプレフィックスを回復するということである。 小さいSAEの多くの特徴は、すべての大きなSAEによって共有され、異なるデータ共有機能に基づいて訓練されたSAEは、どちらも一般的なものであり、十分に大きなSAEは、親と子の両方の特徴を回復する。 サイズが大きくなるにつれて、SAEの特徴は不安定で「ばらばら」であるという従来の知恵とは対照的に、これらの予測は2つの大きな埋め込みモデルで訓練された512から131,072のサイズのSAEに当てはまる。 理論的観点からは,原子的特徴に基づく表現の科学的理論の可能性を示唆する。 実際の結果から,SAEのスケールアップが期待できる。

関連論文リスト

• How Optimality Structures Sparse Dictionaries: A Theory for Understanding SAE Representations [0.8122270502556375]
  スパースオートエンコーダ(SAE)は、神経表現を解釈可能な概念に解析することに成功した。 ここでは、任意の辞書学習最適条件が満たさなければならない性質を単に問う。 これらの制約は、観察されたSAEの挙動を説明するために用いられる。
  論文  参考訳（メタデータ） (2026-06-01T15:34:34Z)
• Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
  我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
  論文  参考訳（メタデータ） (2026-05-12T10:01:06Z)
• Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction [0.152292571922932]
  分子特性と活性予測には,コンパクトで特殊なモデルが依然として有効であることを示す。 古典的なML、GNN、事前訓練されたシーケンスモデルのパフォーマンスの違いは、しばしば控えめでエンドポイントに依存している。 その結果, 予測性能は, 分子表現, 誘導バイアス, データ構造, エンドポイント生物学, 検証プロトコルの整合性に依存することが示唆された。
  論文  参考訳（メタデータ） (2026-04-29T10:01:16Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• Speculative Decoding: Performance or Illusion? [35.22216866848279]
  プロダクショングレードで広くデプロイされた推論エンジン(vLLM)上での投機的復号化(SD)に関する最初の体系的研究について述べる。 我々は、SD性能を規定する重要な要因を分析し、SDスピードアップの理論的上限を定量化する。 その結果,ターゲットモデルによる検証が実行に支配的であり,受信長は出力トークンの位置,要求,データセットによって著しく異なることがわかった。
  論文  参考訳（メタデータ） (2025-12-31T20:31:36Z)
• Sparse Autoencoders Trained on the Same Data Learn Different Features [0.7234862895932991]
  スパースオートエンコーダ(SAE)は、大きな言語モデルで人間の解釈可能な特徴を明らかにするのに有用なツールである。 我々の研究は、SAEが同じモデルとデータに基づいて訓練したことを示しています。
  論文  参考訳（メタデータ） (2025-01-28T01:24:16Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。