論文の概要: Targeted Recovery of Weight-Space Mechanisms From Neural Networks

• arxiv url: http://arxiv.org/abs/2607.13047v1
• Date: Fri, 19 Jun 2026 19:07:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.411739
• Title: Targeted Recovery of Weight-Space Mechanisms From Neural Networks
• Title（参考訳）: ニューラルネットワークによる重み空間機構の探索
• Abstract要約: 分解(PD)は、ニューラルネットワークを解釈可能な計算コンポーネントに分解する。 我々は,特定の関心の入力を処理するコンポーネントのみを識別するターゲットPD(tPD)を提案する。 The Pile で訓練されたおもちゃモデルとトランスフォーマー言語モデル上で tPD を検証する。
• 参考スコア（独自算出の注目度）: 3.4333309114070105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter decomposition (PD) decomposes neural networks into interpretable computational components that faithfully reflect the original network's operations. However, scaling PD to large models requires vast compute, making it a costly and risky endeavor. Here we propose targeted PD (tPD), which identifies only the components that process specific inputs of interest -- from isolated prompts to large subtasks -- by introducing a high-rank catch-all component that handles all non-target data. We validate tPD on toy models and on transformer language models trained on The Pile, where it recovers reproducible, mechanistically faithful circuits. We extract a CSS-only submodel of a 4-block transformer using 7% of the FLOPs of its published decomposition, and in a 12-block transformer we surgically ablate and rewire memorized sequences, with negligible side effects on other inputs.
• Abstract（参考訳）: パラメータ分解(PD)は、ニューラルネットワークを、元のネットワークの操作を忠実に反映する解釈可能な計算コンポーネントに分解する。 しかし、PDを大規模モデルにスケーリングするには膨大な計算が必要であるため、コストが高くリスクの高い作業である。 ここでは,関心の特定の入力を処理するコンポーネント(個別のプロンプトから大きなサブタスク)のみを識別するターゲットPD(tPD)を提案する。 The Pileで訓練された玩具モデルとトランスフォーマー言語モデルでtPDを検証し、再現性があり機械的に忠実な回路を復元する。 我々は,その分解の 7% の FLOP を用いて4ブロックトランスのCSS のみのサブモデルを抽出し,12ブロックトランスでは,他の入力に対して無視できる副作用を伴って,記憶されたシーケンスを外科的にアブレート・リワイヤリングする。

関連論文リスト

• Multi-layer MIMO Relay as Deep Physical Neural Networks: Power Amplifiers as Activation Functions [56.870614369768354]
  無線物理ニューラルネットワーク(WPNN)は、アナログハードウェアに直接ニューラルネットワークを埋め込む。 マルチホップマルチインプットマルチアウトプット(MIMO)リレーネットワークにより非線形活性化を実現する深層WPNNを提案する。 提案アーキテクチャは,画像分類の高精度なオーバー・ザ・エア推論を可能にする。
  論文  参考訳（メタデータ） (2026-07-20T09:45:07Z)
• Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models [74.1970982768771]
  確立されたデータポゾンパイプラインは,MDLMにバックドアを埋め込むことに成功した。 拡散自己浄化(Diffusion Self-Purification)と呼ばれるMDLMのバックドア防御フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-02-24T15:47:52Z)
• REFINE: Inversion-Free Backdoor Defense via Model Reprogramming [60.554146386198376]
  ディープニューラルネットワーク(DNN)に対するバックドア攻撃は、重大なセキュリティ脅威として浮上している。 モデル再プログラミングに基づく逆フリーバックドア防御手法であるREFINEを提案する。
  論文  参考訳（メタデータ） (2025-02-22T07:29:12Z)
• Interpretability in Parameter Space: Minimizing Mechanistic Description Length with Attribution-based Parameter Decomposition [0.0]
  我々は、属性に基づく分解(APD)の概念的基礎を導入する。 APDは、ニューラルネットワークのパラメータを直接、元のネットワークのパラメータに忠実なコンポーネントに分解する。 玩具実験環境における地中真理メカニズムの同定に成功してAPDの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-24T21:31:12Z)
• CFPFormer: Feature-pyramid like Transformer Decoder for Segmentation and Detection [1.837431956557716]
  本稿では,Cross Feature Pyramid Transformer Decoder (CFPFormer)を提案する。 私たちの仕事は、長距離の依存関係をキャプチャし、効果的にアップサンプルのフィーチャーマップを作成できます。 ResNet50のバックボーンにより,92.02%のDice Scoreを実現し,本手法の有効性を強調した。
  論文  参考訳（メタデータ） (2024-04-23T18:46:07Z)
• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)
• SATr: Slice Attention with Transformer for Universal Lesion Detection [39.90420943500884]
  コンピュータ断層撮影におけるユニバーサル病変検出(ULD)は,コンピュータ支援診断において重要な役割を担っている。 コンボリューションベースのULDバックボーンに簡単に接続できる新しいSlice Attention Transformer (SATr) ブロックを提案する。 5つの最先端手法による実験により、提案したSATrブロックは、病変検出精度をほぼ自由に向上できることが示された。
  論文  参考訳（メタデータ） (2022-03-13T03:37:27Z)
• DBIA: Data-free Backdoor Injection Attack against Transformer Networks [6.969019759456717]
  CV指向トランスネットワークに対するデータフリーバックドア攻撃であるDBIAを提案する。 弊社のアプローチでは、バックドアを高い成功率で埋め込むことができ、被害者のトランスフォーマーの性能への影響も低い。
  論文  参考訳（メタデータ） (2021-11-22T08:13:51Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。