論文の概要: Uncovering Branch specialization in InceptionV1 using k sparse autoencoders

• arxiv url: http://arxiv.org/abs/2504.11489v1
• Date: Mon, 14 Apr 2025 18:16:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 01:44:36.071208
• Title: Uncovering Branch specialization in InceptionV1 using k sparse autoencoders
• Title（参考訳）: kスパースオートエンコーダを用いたInceptionV1のブランチ特殊化
• Authors: Matthew Bozoukov,
• Abstract要約: 以前の研究により、SAEはInceptionV1の初期のレイヤから解釈可能な特徴を抽出する有効なツールであることが示されている。 混合4a-4e枝の各層,5x5枝および1x1枝で発生する枝の特殊化の様々な例を示す。 また、ブランチの特殊化はレイヤ間で一貫性があり、モデル全体で同様の機能は各レイヤで同じ畳み込みサイズのブランチにローカライズされる、と主張する証拠も提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Autoencoders (SAEs) have shown to find interpretable features in neural networks from polysemantic neurons caused by superposition. Previous work has shown SAEs are an effective tool to extract interpretable features from the early layers of InceptionV1. Since then, there have been many improvements to SAEs but branch specialization is still an enigma in the later layers of InceptionV1. We show various examples of branch specialization occuring in each layer of the mixed4a-4e branch, in the 5x5 branch and in one 1x1 branch. We also provide evidence to claim that branch specialization seems to be consistent across layers, similar features across the model will be localized in the same convolution size branches in their respective layer.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、重ね合わせによって引き起こされる多節性ニューロンからニューラルネットワークの解釈可能な特徴を見出した。 以前の研究により、SAEはInceptionV1の初期のレイヤから解釈可能な特徴を抽出する有効なツールであることが示されている。 それ以来、SAEには多くの改善が加えられているが、ブランチの特殊化は、InceptionV1の後半のレイヤではまだエニグマである。 混合4a-4e枝の各層,5x5枝および1x1枝で発生する枝の特殊化の様々な例を示す。 また、ブランチの特殊化はレイヤ間で一貫性があり、モデル全体で同様の機能は各レイヤで同じ畳み込みサイズのブランチにローカライズされる、と主張する証拠も提供します。

関連論文リスト

• Evolution of SAE Features Across Layers in LLMs [1.5728609542259502]
  隣接層における特徴間の統計的関係を解析し, 前方通過による特徴の進化を理解する。 私たちは、機能とその最もよく似た隣人のためのグラフ視覚化インターフェイスを提供し、レイヤ間で関連する機能のコミュニティを構築します。
  論文  参考訳（メタデータ） (2024-10-11T14:46:49Z)
• The Missing Curve Detectors of InceptionV1: Applying Sparse Autoencoders to InceptionV1 Early Vision [0.0]
  スパースオートエンコーダ(SAE)に関する最近の研究は、ニューラルネットワークから解釈可能な特徴を抽出する上で有望であることを示している。 本稿では、よく研究された畳み込みニューラルネットワークであるInceptionV1の初期の視覚層にSAEを適用する。 以上の結果から,SAEは個々のニューロンから明らかでない新しい解釈可能な特徴を発見できることが示された。
  論文  参考訳（メタデータ） (2024-06-06T00:28:49Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Receptive Field Broadening and Boosting for Salient Object Detection [25.839418119420447]
  本稿では,局所的な詳細情報とグローバルな意味情報を同時に効率的に拡張するためのトランスフォーマーとCNNに基づく双方向ネットワークを提案する。 MHB(Multi-Head Boosting)戦略は、異なるネットワークブランチの特異性を高めるために提案される。 アテンション・フィーチャー・フュージョン・モジュール (AF) は2種類の特徴をそれぞれの特性に応じて融合するために提案される。
  論文  参考訳（メタデータ） (2021-10-15T05:10:33Z)
• Auto-Parsing Network for Image Captioning and Visual Question Answering [101.77688388554097]
  本稿では,入力データの隠れ木構造を発見し,活用するための自動パーシングネットワーク(APN)を提案する。 具体的には、各自己注意層における注意操作によってパラメータ化された確率的グラフモデル(PGM)を課し、スパース仮定を組み込む。
  論文  参考訳（メタデータ） (2021-08-24T08:14:35Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)
• Multi-branch Attentive Transformer [152.07840447196384]
  我々は,マルチブランチ・アテンティブ・トランスフォーマーと呼ばれる,シンプルで効果的なトランスフォーマーの変種を提案する。 注目層は複数のブランチの平均であり、各ブランチは独立したマルチヘッド注意層である。 機械翻訳、コード生成、自然言語理解の実験は、Transformerのこのような単純な変種が大きな改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-06-18T04:24:28Z)
• Learning Class Regularized Features for Action Recognition [68.90994813947405]
  本稿では,階層活性化のクラスベース正規化を行うクラス正規化手法を提案する。 動作認識に最先端CNNアーキテクチャのクラス正規化ブロックを用いることで,Kineetics,UCF-101,HMDB-51データセットにおいて,それぞれ1.8%,1.2%,1.4%の体系的改善が得られた。
  論文  参考訳（メタデータ） (2020-02-07T07:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。