論文の概要: The Geometry of Concepts: Sparse Autoencoder Feature Structure
- arxiv url: http://arxiv.org/abs/2410.19750v1
- Date: Thu, 10 Oct 2024 17:58:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-03 08:52:26.298288
- Title: The Geometry of Concepts: Sparse Autoencoder Feature Structure
- Title（参考訳）: 概念の幾何学:スパースオートエンコーダの特徴構造
- Authors: Yuxiao Li, Eric J. Michaud, David D. Baek, Joshua Engels, Xiaoqing Sun, Max Tegmark,
- Abstract要約: 宇宙は3つのレベルで興味深い構造を持つ。
ブレイン」中間スケール構造は、空間的モジュラリティが著しく高い。
特徴点雲の「ガラクシー」スケールの大規模構造は等方性ではなく、中層で最も急勾配の固有値のパワー則を持つ。
- 参考スコア（独自算出の注目度）: 10.95343312207608
- License:
- Abstract: Sparse autoencoders have recently produced dictionaries of high-dimensional vectors corresponding to the universe of concepts represented by large language models. We find that this concept universe has interesting structure at three levels: 1) The "atomic" small-scale structure contains "crystals" whose faces are parallelograms or trapezoids, generalizing well-known examples such as (man-woman-king-queen). We find that the quality of such parallelograms and associated function vectors improves greatly when projecting out global distractor directions such as word length, which is efficiently done with linear discriminant analysis. 2) The "brain" intermediate-scale structure has significant spatial modularity; for example, math and code features form a "lobe" akin to functional lobes seen in neural fMRI images. We quantify the spatial locality of these lobes with multiple metrics and find that clusters of co-occurring features, at coarse enough scale, also cluster together spatially far more than one would expect if feature geometry were random. 3) The "galaxy" scale large-scale structure of the feature point cloud is not isotropic, but instead has a power law of eigenvalues with steepest slope in middle layers. We also quantify how the clustering entropy depends on the layer.
- Abstract（参考訳）: スパースオートエンコーダは、最近、大きな言語モデルで表される概念の宇宙に対応する高次元ベクトルの辞書を作成した。
この宇宙は3つのレベルで興味深い構造を持っていることが分かりました。
1)「原子」の小さな構造は、顔が平行な図形や台形である「結晶」を含み、マン・ウーマン・キングクイエン(man-woman-king-queen)のような有名な例を一般化する。
単語長などの大域的トラクタ方向を投影する場合, 線形判別分析で効率よく行うと, 並列図や関連関数ベクトルの品質が大幅に向上することがわかった。
2)脳の中規模構造は空間的モジュラリティに優れており,例えば,ニューラルfMRI画像に見られる機能的ローブに似た,数学的特徴とコード的特徴が「ローブ」を形成する。
複数の測度でこれらのローブの空間的局所性を定量化し、粗いスケールで共起する特徴のクラスタが、もし特徴幾何がランダムであれば予想されるよりもはるかに多くの空間的に団結していることを見出した。
3) 特徴点雲の「ガラクシー」スケールの大規模構造は等方性ではなく、中層で最も急勾配の固有値のパワー則を持つ。
また、クラスタリングのエントロピーが層にどのように依存するかを定量化します。
関連論文リスト
- Bayes Complexity of Learners vs Overfitting [4.873362301533825]
関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。
従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。
上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
論文 参考訳（メタデータ） (2023-03-13T13:07:02Z) - Geometry Interaction Knowledge Graph Embeddings [153.69745042757066]
ユークリッド空間,双曲空間,超球空間間の空間構造を対話的に学習する幾何学的相互作用知識グラフ埋め込み(GIE)を提案する。
提案したGIEは、よりリッチなリレーショナル情報、モデルキー推論パターンをキャプチャし、エンティティ間の表現的セマンティックマッチングを可能にする。
論文 参考訳（メタデータ） (2022-06-24T08:33:43Z) - A Scalable Combinatorial Solver for Elastic Geometrically Consistent 3D
Shape Matching [69.14632473279651]
本稿では,3次元形状間の幾何学的一貫したマッピング空間をグローバルに最適化するスケーラブルなアルゴリズムを提案する。
従来の解法よりも数桁高速なラグランジュ双対問題と結合した新しい原始問題を提案する。
論文 参考訳（メタデータ） (2022-04-27T09:47:47Z) - Neural Convolutional Surfaces [59.172308741945336]
この研究は、大域的、粗い構造から、微細で局所的で、おそらく繰り返される幾何学を歪める形状の表現に関係している。
このアプローチは, 最先端技術よりも優れたニューラル形状圧縮を実現するとともに, 形状詳細の操作と伝達を可能にする。
論文 参考訳（メタデータ） (2022-04-05T15:40:11Z) - Highly Scalable and Provably Accurate Classification in Poincare Balls [40.82908295137667]
我々は、スケーラブルで単純な双曲型線形分類器を証明可能な性能保証で学習するための統一的なフレームワークを構築した。
提案手法は,新しい双曲型および二階型パーセプトロンアルゴリズムと,双曲型サポートベクトルマシン分類器の効率的かつ高精度な凸最適化設定を含む。
数百万の点からなる合成データセットと、シングルセルRNA-seq式測定、CIFAR10、Fashion-MNIST、mini-ImageNetのような複雑な実世界のデータセットの性能評価を行う。
論文 参考訳（メタデータ） (2021-09-08T16:59:39Z) - Vector Neurons: A General Framework for SO(3)-Equivariant Networks [32.81671803104126]
本稿では,ベクトルニューロン表現(Vector Neuron representations)をベースとした汎用フレームワークを提案する。
我々のベクトルニューロンは、SO(3) の作用を潜在空間へ簡単にマッピングできる。
また、回転等変性再構成ネットワークを初めて示しました。
論文 参考訳（メタデータ） (2021-04-25T18:48:15Z) - Learning from Protein Structure with Geometric Vector Perceptrons [6.5360079597553025]
幾何学的ベクトルパーセプトロンを導入し、標準密度層を拡張してユークリッドベクトルの集合を演算する。
本稿では,タンパク質構造から学習する際の2つの重要な問題として,モデル品質評価と計算タンパク質設計について述べる。
論文 参考訳（メタデータ） (2020-09-03T01:54:25Z) - DSG-Net: Learning Disentangled Structure and Geometry for 3D Shape
Generation [98.96086261213578]
DSG-Netは3次元形状の非交叉構造と幾何学的メッシュ表現を学習するディープニューラルネットワークである。
これは、幾何(構造)を不変に保ちながら構造(幾何学)のような不整合制御を持つ新しい形状生成アプリケーションの範囲をサポートする。
本手法は,制御可能な生成アプリケーションだけでなく,高品質な合成形状を生成できる。
論文 参考訳（メタデータ） (2020-08-12T17:06:51Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z) - Equivariant Maps for Hierarchical Structures [17.931059591895984]
階層構造の対称性は、ビルディングブロックの対称性の「死積」であることを示す。
点雲を酸化することにより、データに翻訳と置換の対称性の階層を課す。
私たちは、Semantic3D、S3DIS、vKITTIに関する最新の技術について報告します。
論文 参考訳（メタデータ） (2020-06-05T18:42:12Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳（メタデータ） (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。