論文の概要: Interpreting Language Model Parameters

• arxiv url: http://arxiv.org/abs/2610.20748v1
• Date: Wed, 14 Oct 2026 18:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.003608
• Title: Interpreting Language Model Parameters
• Title（参考訳）: 言語モデルパラメータの解釈
• Abstract要約: 機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークがそれらのパラメータを使って、印象的なニューラルネットワークを実装する方法を明らかにすることを目的としている。 本稿では,言語モデルのパラメータをサブコンポーネントに分解することで,この理解に近づける手法を提案する。 本稿では,これらのパラメータサブコンポーネント間の相互作用のシーケンスが,特定の入力に対してネットワークの出力を生成する方法について検討する。
• 参考スコア（独自算出の注目度）: 4.3749174455327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability aims to uncover how neural networks use their parameters to implement their impressive neural algorithms. Although previous work has uncovered substantial structure in the intermediate representations that networks use, little progress has been made to understand how the parameters and nonlinearities of networks perform computations on those representations. In this work, we present a method that brings us closer to this understanding by decomposing a language model's parameters into subcomponents that each implement only a small part of the model's learned algorithm, while simultaneously requiring only a small fraction of those subcomponents to account for the network's behavior on any input. The method, adVersarial Parameter Decomposition (VPD), optimizes for decompositions of neural network parameters into simple subcomponents that preserve the network's input-output behavior even when many subcomponents are ablated, including under ablations that are adversarially selected to destroy behavior. This encourages learning subcomponents that provide short, mechanistically faithful descriptions of the network's behavior that should aggregate appropriately into more global descriptions of the network's learned algorithm. We study how sequences of interactions between these parameter subcomponents produce the network's output on particular inputs, enabling a new kind of 'circuit' analysis. While more work remains to be done to deepen our understanding of how neural networks use their parameters to compute their behavior, our work suggests an approach to identify a small set of simple, mechanistically faithful subcomponents on which further mechanistic analysis can be based.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークがそれらのパラメータを使って、印象的なニューラルネットワークを実装する方法を明らかにすることを目的としている。 これまでの研究は、ネットワークが使用する中間表現の実質的な構造を明らかにしてきたが、ネットワークのパラメータや非線形性がそれらの表現に対してどのように計算を行うかを理解するためにはほとんど進歩していない。 本研究では,言語モデルのパラメータをサブコンポーネントに分解し,学習したアルゴリズムのごく一部を実装すると同時に,そのサブコンポーネントのごく一部で入力に対するネットワークの振舞いを考慮し,この理解に近づける手法を提案する。 この手法である adVersarial Parameter Decomposition (VPD) は、ニューラルネットワークパラメータの単純なサブコンポーネントへの分解を最適化する。 これにより、ネットワークの動作を短く、機械的に忠実に記述し、ネットワークの学習アルゴリズムのよりグローバルな記述に適切に集約するサブコンポーネントの学習が促進される。 パラメーターサブコンポーネント間の相互作用のシーケンスがどのようにして特定の入力に対してネットワークの出力を生成し、新しい種類の「回路」解析を可能にするかを検討する。 ニューラルネットワークがそれらの振る舞いを計算するためにパラメータをどのように使っているかを理解するために、さらに多くの作業が続けられていますが、我々の研究は、より機械的な分析を基盤とする、単純で機械的に忠実なサブコンポーネントの小さなセットを特定するアプローチを提案しています。

関連論文リスト

• Interpretability in Parameter Space: Minimizing Mechanistic Description Length with Attribution-based Parameter Decomposition [0.0]
  我々は、属性に基づく分解(APD)の概念的基礎を導入する。 APDは、ニューラルネットワークのパラメータを直接、元のネットワークのパラメータに忠実なコンポーネントに分解する。 玩具実験環境における地中真理メカニズムの同定に成功してAPDの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-24T21:31:12Z)
• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Investigating the Compositional Structure Of Deep Neural Networks [1.8899300124593645]
  本稿では,一方向線形活性化関数の構成構造に基づく新しい理論的枠組みを提案する。 予測ラベルと予測に使用する特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。 MNISTデータセットの予備テストでは、ニューラルネットワークの内部表現における類似性に関して、入力インスタンスをグループ化することが可能である。
  論文  参考訳（メタデータ） (2020-02-17T14:16:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。