論文の概要: Towards Atoms of Large Language Models

• arxiv url: http://arxiv.org/abs/2509.20784v1
• Date: Thu, 25 Sep 2025 06:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.721358
• Title: Towards Atoms of Large Language Models
• Title（参考訳）: 大規模言語モデルの原子を目指して
• Authors: Chenhui Hu, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 大きな言語モデル(LLM)の内部表現は未定義のままであり、そのメカニズムのさらなる理解を制限している。 我々は、そのような単位を原子として定義する原子論を提案する。 我々はGemma2-2B、Gemma2-9B、Llama3.1-8Bでしきい値活性化SAEを訓練し、平均で99.9%のスパース再構成を実現した。
• 参考スコア（独自算出の注目度）: 33.04392302606777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fundamental units of internal representations in large language models (LLMs) remain undefined, limiting further understanding of their mechanisms. Neurons or features are often regarded as such units, yet neurons suffer from polysemy, while features face concerns of unreliable reconstruction and instability. To address this issue, we propose the Atoms Theory, which defines such units as atoms. We introduce the atomic inner product (AIP) to correct representation shifting, formally define atoms, and prove the conditions that atoms satisfy the Restricted Isometry Property (RIP), ensuring stable sparse representations over atom set and linking to compressed sensing. Under stronger conditions, we further establish the uniqueness and exact $\ell_1$ recoverability of the sparse representations, and provide guarantees that single-layer sparse autoencoders (SAEs) with threshold activations can reliably identify the atoms. To validate the Atoms Theory, we train threshold-activated SAEs on Gemma2-2B, Gemma2-9B, and Llama3.1-8B, achieving 99.9% sparse reconstruction across layers on average, and more than 99.8% of atoms satisfy the uniqueness condition, compared to 0.5% for neurons and 68.2% for features, showing that atoms more faithfully capture intrinsic representations of LLMs. Scaling experiments further reveal the link between SAEs size and recovery capacity. Overall, this work systematically introduces and validates Atoms Theory of LLMs, providing a theoretical framework for understanding internal representations and a foundation for mechanistic interpretability. Code available at https://github.com/ChenhuiHu/towards_atoms.
• Abstract（参考訳）: 大きな言語モデル(LLM)の内部表現の基本単位は未定義のままであり、そのメカニズムのさらなる理解を制限している。 ニューロンや特徴はしばしばそのような単位と見なされるが、ニューロンはポリセミズムに悩まされ、特徴は信頼性の低い再構築と不安定さの懸念に直面している。 この問題に対処するために、そのような単位を原子として定義する原子論(Atoms Theory)を提案する。 我々は、原子内部積(AIP)を導入して、原子の偏移を正し、原子を正式に定義し、原子が制限等尺性(Restricted Isometry Property、RIP)を満たす条件を証明し、原子集合上の安定なスパース表現を保証し、圧縮されたセンシングにリンクする。 より強い条件下では、スパース表現の特異性と正確な$\ell_1$リカバリ性を確立し、閾値アクティベーションを持つ単層スパースオートエンコーダ(SAE)が原子を確実に識別できることを保証する。 Atoms理論を検証するために、私たちはGemma2-2B、Gemma2-9B、Llama3.1-8Bでしきい値活性化SAEを訓練し、平均で99.9%のスパース再構成を達成し、99.8%以上の原子が特異性条件を満たす。 スケーリング実験により、SAEのサイズと回復能力の関連が明らかになる。 全体として、この研究はLLMの原子論を体系的に導入し、検証し、内部表現を理解する理論的枠組みと機械的解釈可能性の基礎を提供する。 コードはhttps://github.com/ChenhuiHu/towards_atomsで公開されている。

関連論文リスト

• Repeated ancilla reuse for logical computation on a neutral atom quantum computer [0.13703179370841895]
  光ツイーザーに閉じ込められた中性原子に基づく量子プロセッサは、本来は原子の損失を生じやすい。 我々は、他の原子のコヒーレンスを維持しながら、量子計算中に失われた原子を置き換える能力を示す。 これは、システム内の原子の寿命よりも長い論理計算を実行するための重要なステップである。
  論文  参考訳（メタデータ） (2025-06-11T16:58:17Z)
• Tokenizing Electron Cloud in Protein-Ligand Interaction Learning [51.74909649330779]
  ECBindは電子雲信号を量子化埋め込みにトークン化する方法である。 これは、原子レベルのモデルで完全に表現できないバインディングモードを明らかにするのに役立つ。 適用範囲を幅広いシナリオに広げるために,我々は知識蒸留を用いて電子クラウドに依存しない予測モデルを構築した。
  論文  参考訳（メタデータ） (2025-05-25T07:36:50Z)
• Annealing for prediction of grand canonical crystal structures: Efficient implementation of n-body atomic interactions [0.0]
  結晶構造予測(CSP)のための近代イジングマシンで使用可能なスキームを提案する。 我々は、一般的なn-体原子間相互作用、特に共有結合をシミュレートするために必要な3-体相互作用を考慮する。 結晶構造は、単位セルを識別し、各格子点に原子の存在または存在しないことを表わすバイナリ変数を配置することによって表される。
  論文  参考訳（メタデータ） (2023-07-06T16:49:06Z)
• Efficient Approximations of Complete Interatomic Potentials for Crystal Property Prediction [63.4049850776926]
  結晶構造は、3次元空間で無限に繰り返される最小単位セルからなる。 現在の手法は、近くのノード間だけにエッジを確立することによってグラフを構築する。 距離のみを用いるのではなく,物理を前提とした原子間ポテンシャルを直接モデル化することを提案する。
  論文  参考訳（メタデータ） (2023-06-12T07:19:01Z)
• Atomic and Subgraph-aware Bilateral Aggregation for Molecular Representation Learning [57.670845619155195]
  我々は、原子とサブグラフを意識したバイラテラルアグリゲーション(ASBA)と呼ばれる分子表現学習の新しいモデルを導入する。 ASBAは、両方の種類の情報を統合することで、以前の原子単位とサブグラフ単位のモデルの限界に対処する。 本手法は,分子特性予測のための表現をより包括的に学習する方法を提供する。
  論文  参考訳（メタデータ） (2023-05-22T00:56:00Z)
• Completeness of Atomic Structure Representations [0.0]
  本稿では, 粒子三重項の相対配置に基づいて, 無限相関の記述子を構築するための新しい手法を提案する。 我々の戦略は、従来の対称ディスクリプタの幅広いクラスを無効にするために特別に構築された原子配列のクラスで実証される。
  論文  参考訳（メタデータ） (2023-02-28T17:11:42Z)
• Optical reconstruction of collective density matrix of qutrit [0.0]
  量子状態の再構成は、量子情報科学において最も重要なものである。 本研究では,F=1$基底状態の原子からなる原子アンサンブルの集合密度行列の再構成法を提案する。
  論文  参考訳（メタデータ） (2021-07-08T15:54:49Z)
• Maximum refractive index of an atomic medium [58.720142291102135]
  正の屈折率を持つすべての光学材料は、順序ユニティの指数の値を持つ。 孤立した原子の巨大な反応にもかかわらず、最大指数は密度の増大とともに無限に大きくなることはない。 本稿では,強い不規則再正規化群理論に基づく説明を提案する。
  論文  参考訳（メタデータ） (2020-06-02T14:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。