Fugu-MT 論文翻訳(概要): Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures

論文の概要: Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures

arxiv url: http://arxiv.org/abs/2506.01197v1
Date: Sun, 01 Jun 2025 22:20:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-04 21:47:33.985473
Title: Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
Title（参考訳）: スパースオートエンコーダアーキテクチャにおける階層的セマンティクスの導入
Authors: Mark Muchane, Sean Richardson, Kiho Park, Victor Veitch,
Abstract要約: 概念のセマンティック階層を明示的にモデル化する改良されたSAEアーキテクチャを導入する。このアーキテクチャを大規模言語モデルの内部表現に適用すると、意味的階層が学習可能であることと、再構築性と解釈可能性の両方を改善することが示される。
参考スコア（独自算出の注目度）: 10.919461859475268
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sparse dictionary learning (and, in particular, sparse autoencoders) attempts to learn a set of human-understandable concepts that can explain variation on an abstract space. A basic limitation of this approach is that it neither exploits nor represents the semantic relationships between the learned concepts. In this paper, we introduce a modified SAE architecture that explicitly models a semantic hierarchy of concepts. Application of this architecture to the internal representations of large language models shows both that semantic hierarchy can be learned, and that doing so improves both reconstruction and interpretability. Additionally, the architecture leads to significant improvements in computational efficiency.
Abstract（参考訳）: スパース辞書学習(特にスパースオートエンコーダ)は、抽象空間上の変動を説明できる人間の理解可能な概念の集合を学習しようと試みる。このアプローチの基本的な制限は、学習された概念間の意味的関係を利用または表現しないことである。本稿では,概念のセマンティック階層を明示的にモデル化する改良型SAEアーキテクチャを提案する。このアーキテクチャを大規模言語モデルの内部表現に適用すると、意味的階層が学習可能であることと、再構築性と解釈可能性の両方を改善することが示される。さらに、アーキテクチャは計算効率を大幅に改善する。

関連論文リスト

Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
論文参考訳（メタデータ） (2025-05-11T17:44:14Z)
Classification and Reconstruction Processes in Deep Predictive Coding Networks: Antagonists or Allies? [0.0]
ビジュアルコンピューティングのための予測符号化にインスパイアされたディープネットワークは、共有中間層における分類と再構成プロセスを統合する。ディープラーニングアーキテクチャにおけるインタラクションの分類と再構築について、批判的な考察をしている。分類駆動情報は中間層の共有表現における再構成駆動情報を減少させる。
論文参考訳（メタデータ） (2024-01-17T14:34:32Z)
A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文参考訳（メタデータ） (2023-07-16T15:59:13Z)
Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文参考訳（メタデータ） (2022-10-26T13:27:26Z)
Decoupled Context Processing for Context Augmented Language Modeling [33.89636308731306]
言語モデルはコンテキストレトリバーで拡張することができ、大きな外部データベースからの知識を組み込むことができる。検索したコンテキストを活用することで、ニューラルネットワークは内部パラメータ内の膨大な世界の知識を記憶する必要がなく、効率性、解釈可能性、モジュール性が向上する。
論文参考訳（メタデータ） (2022-10-11T20:05:09Z)
A Review of Sparse Expert Models in Deep Learning [23.721204843236006]
スパースエキスパートモデル(Sparse expert model)は、ディープラーニングの一般的なアーキテクチャとして再開発される30年前のコンセプトだ。本稿では,スパースエキスパートモデルの概念を概観し,共通アルゴリズムの基本的記述を提供し,深層学習時代の進歩を文脈化する。
論文参考訳（メタデータ） (2022-09-04T18:00:29Z)
Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文参考訳（メタデータ） (2021-12-16T05:50:55Z)
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文参考訳（メタデータ） (2020-10-11T15:13:18Z)
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures [1.8434042562191812]
事前トレーニングは、同等の非事前トレーニングモデルと比較して、パフォーマンスが大幅に向上することを示す。我々は、中間表現とともに事前学習を用いて、CFQ合成一般化ベンチマークの新たな技術状態を確立する。
論文参考訳（メタデータ） (2020-07-17T13:34:49Z)
Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。