論文の概要: Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition

• arxiv url: http://arxiv.org/abs/2504.00194v1
• Date: Mon, 31 Mar 2025 20:04:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:11.932130
• Title: Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
• Title（参考訳）: 局所的ロスランドスケープ分解による疎活動回路の同定
• Authors: Brianna Chrisman, Lucius Bushnaq, Lee Sharkey,
• Abstract要約: ローカルロスランドスケープ分解(L3D)と呼ばれる新しい分解手法を提案する。 L3Dは低ランクワークの集合を特定し、サンプルの出力と基準出力ベクトルの間の損失の勾配を再構成する。 実世界のトランスモデルと畳み込みニューラルネットワークにL3Dを適用し、パラメータ空間における解釈可能な回路と関連する回路を識別する可能性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Much of mechanistic interpretability has focused on understanding the activation spaces of large neural networks. However, activation space-based approaches reveal little about the underlying circuitry used to compute features. To better understand the circuits employed by models, we introduce a new decomposition method called Local Loss Landscape Decomposition (L3D). L3D identifies a set of low-rank subnetworks: directions in parameter space of which a subset can reconstruct the gradient of the loss between any sample's output and a reference output vector. We design a series of progressively more challenging toy models with well-defined subnetworks and show that L3D can nearly perfectly recover the associated subnetworks. Additionally, we investigate the extent to which perturbing the model in the direction of a given subnetwork affects only the relevant subset of samples. Finally, we apply L3D to a real-world transformer model and a convolutional neural network, demonstrating its potential to identify interpretable and relevant circuits in parameter space.
• Abstract（参考訳）: 機械論的解釈可能性の多くは、大きなニューラルネットワークの活性化空間を理解することに集中している。 しかし、アクティベーション空間に基づくアプローチは、機能を計算するために使用される基礎回路についてはほとんど明らかにしていない。 モデルが使用する回路をよりよく理解するために,L3D(Local Loss Landscape Decomposition)と呼ばれる新しい分解手法を提案する。 L3Dは低ランクのサブネットワークの集合を識別する: サブセットが任意のサンプル出力と参照出力ベクトルの間の損失の勾配を再構成できるパラメータ空間の方向。 我々は、よく定義されたサブネットで、より困難な一連の玩具モデルを設計し、L3Dが関連するサブネットをほぼ完全に回復できることを示します。 さらに、与えられたサブネットワークの方向にモデルを摂動させる範囲が、サンプルの関連するサブセットのみにどの程度影響するかを調査する。 最後に、L3Dを実世界のトランスモデルと畳み込みニューラルネットワークに適用し、パラメータ空間における解釈可能な回路と関連する回路を識別する可能性を示す。

関連論文リスト

• DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
  本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。 事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。 本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
  論文  参考訳（メタデータ） (2024-07-02T09:33:32Z)
• Neural Vector Fields: Implicit Representation by Explicit Learning [63.337294707047036]
  ニューラルベクトル場 (Neural Vector Fields, NVF) という新しい3次元表現法を提案する。 メッシュを直接操作するための明示的な学習プロセスを採用するだけでなく、符号なし距離関数(UDF)の暗黙的な表現も採用している。 提案手法は,まず表面への変位クエリを予測し,テキスト再構成として形状をモデル化する。
  論文  参考訳（メタデータ） (2023-03-08T02:36:09Z)
• Semi-signed neural fitting for surface reconstruction from unoriented point clouds [53.379712818791894]
  より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。 SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。 我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
  論文  参考訳（メタデータ） (2022-06-14T09:40:17Z)
• An Efficient End-to-End 3D Model Reconstruction based on Neural Architecture Search [5.913946292597174]
  ニューラルアーキテクチャサーチ(NAS)とバイナリ分類を用いた効率的なモデル再構成手法を提案する。 本手法は,より少ないネットワークパラメータを用いて,再構成精度を著しく向上する。
  論文  参考訳（メタデータ） (2022-02-27T08:53:43Z)
• S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
  S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。 sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
  論文  参考訳（メタデータ） (2021-03-15T22:15:24Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)
• Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
  3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。 以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。 本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T11:19:24Z)
• Convolutional Occupancy Networks [88.48287716452002]
  本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。 畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。 実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
  論文  参考訳（メタデータ） (2020-03-10T10:17:07Z)
• Quaternion Equivariant Capsule Networks for 3D Point Clouds [58.566467950463306]
  本稿では,3次元回転と翻訳に同値な点雲を処理するための3次元カプセルモジュールを提案する。 カプセル間の動的ルーティングをよく知られたWeiszfeldアルゴリズムに接続する。 オペレーターに基づいて、ポーズから幾何学をアンタングルするカプセルネットワークを構築します。
  論文  参考訳（メタデータ） (2019-12-27T13:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。