Fugu-MT 論文翻訳(概要): Transcoders Beat Sparse Autoencoders for Interpretability

論文の概要: Transcoders Beat Sparse Autoencoders for Interpretability

arxiv url: http://arxiv.org/abs/2501.18823v1
Date: Fri, 31 Jan 2025 00:36:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 14:01:26.083023
Title: Transcoders Beat Sparse Autoencoders for Interpretability
Title（参考訳）: トランスコーダは解釈可能性のためにスパースオートエンコーダを上回る
Authors: Gonçalo Paulo, Stepan Shabalin, Nora Belrose,
Abstract要約: 我々は、トランスコーダとSAEが同じモデルとデータで訓練した特徴を比較し、トランスコーダの特徴がはるかに解釈可能であることを発見した。本稿では,トランスコーダアーキテクチャにアフィンスキップ接続を追加する_skip Transcoders_を提案する。
参考スコア（独自算出の注目度）: 1.082634245716027
License:
Abstract: Sparse autoencoders (SAEs) extract human-interpretable features from deep neural networks by transforming their activations into a sparse, higher dimensional latent space, and then reconstructing the activations from these latents. Transcoders are similar to SAEs, but they are trained to reconstruct the output of a component of a deep network given its input. In this work, we compare the features found by transcoders and SAEs trained on the same model and data, finding that transcoder features are significantly more interpretable. We also propose _skip transcoders_, which add an affine skip connection to the transcoder architecture, and show that these achieve lower reconstruction loss with no effect on interpretability.
Abstract（参考訳）: スパースオートエンコーダ(SAE)は、それらの活性化をスパースで高次元のラテント空間に変換し、これらのラテントからの活性化を再構築することにより、ディープニューラルネットワークから人間の解釈可能な特徴を抽出する。トランスコーダはSAEと似ているが、入力に応じてディープネットワークのコンポーネントの出力を再構築するよう訓練されている。本研究では、トランスコーダとSAEが同じモデルとデータでトレーニングした特徴を比較し、トランスコーダの特徴がはるかに解釈可能であることを確認する。また,トランスコーダアーキテクチャにアフィンスキップ接続を追加する_skip Transcoders_を提案する。

関連論文リスト

Medical Image Segmentation via Sparse Coding Decoder [3.9633192172709975]
トランスフォーマーは、長距離依存関係をキャプチャする能力のため、医療画像のセグメンテーションにおいて大きな成功を収めた。これまでの研究では、変換器のエンコーダモジュールに畳み込み層が組み込まれていたため、ピクセル間の局所的な関係を学習する能力が向上した。しかし、変換器はデコーダの空間的回復能力に乏しいため、限定的な一般化能力とロバスト性に悩まされる可能性がある。
論文参考訳（メタデータ） (2023-10-17T03:08:35Z)
More complex encoder is not all you need [0.882348769487259]
我々は,強力なデコーダを構築するために,新しいサブピクセル・コンボリューションを組み込んだneU-Net(複雑なエンコーダではないU-Net)を導入する。我々のモデル設計は、SynapseとACDCの両方のデータセット上で、最先端の手法を上回る優れた結果が得られる。
論文参考訳（メタデータ） (2023-09-20T08:34:38Z)
NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文参考訳（メタデータ） (2022-09-29T04:06:00Z)
SoftPool++: An Encoder-Decoder Network for Point Cloud Completion [93.54286830844134]
本稿では,ポイントクラウド完了作業のための新しい畳み込み演算子を提案する。提案した演算子は、最大プールやボキセル化操作を一切必要としない。提案手法は,低解像度・高解像度の形状仕上げにおける最先端性能を実現する。
論文参考訳（メタデータ） (2022-05-08T15:31:36Z)
Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文参考訳（メタデータ） (2021-07-30T04:50:56Z)
Analysis of Convolutional Decoder for Image Caption Generation [1.2183405753834562]
画像キャプション生成などのシーケンスモデリングタスクのために畳み込みニューラルネットワークが提案されている。リカレントニューラルネットワークベースのデコーダとは異なり、画像キャプション用の畳み込みデコーダは一般的にネットワーク深度の増加の恩恵を受けない。コンボリューショナルデコーダは,最大15語までの文を含む小長の文を用いて訓練した場合のみ,リカレントデコーダに匹敵する性能を示す。
論文参考訳（メタデータ） (2021-03-08T17:25:31Z)
On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
論文参考訳（メタデータ） (2020-10-06T11:50:54Z)
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
論文参考訳（メタデータ） (2020-07-19T18:44:34Z)
Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-22T04:04:56Z)
A Generative Approach to Titling and Clustering Wikipedia Sections [12.154365109117025]
我々は、ウィキペディア記事のセクションヘッダ生成という新たなタスクを通じて、情報組織のための様々なデコーダを用いたトランスフォーマーエンコーダを評価する。分析の結果,符号化器の出力に対する注意機構を含むデコーダは,抽出テキストを生成することで高いスコア付け結果が得られることがわかった。注意のないデコーダはセマンティックエンコーディングを容易にし、セクション埋め込みを生成するのに使うことができる。
論文参考訳（メタデータ） (2020-05-22T14:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。