論文の概要: Circuit-tuning: A Mechanistic Approach for Identifying Parameter Redundancy and Fine-tuning Neural Networks

• arxiv url: http://arxiv.org/abs/2502.06106v2
• Date: Thu, 03 Jul 2025 03:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:13.572908
• Title: Circuit-tuning: A Mechanistic Approach for Identifying Parameter Redundancy and Fine-tuning Neural Networks
• Title（参考訳）: 回路チューニング:パラメータ冗長性と微調整ニューラルネットワークの同定のための力学的アプローチ
• Authors: Yueyan Li, Wenhao Gao, Caixia Yuan, Xiaojie Wang,
• Abstract要約: 学習の背後にあるメカニズムを解析するための解釈可能な微調整法を開発した。 まず,計算グラフにおけるモデルの学習過程を記述するために,ノードレベルの固有次元の概念を導入する。 提案手法では,各タスクの最小部分グラフを反復的に構築する2段階アルゴリズムであるサーキットチューニングを提案する。
• 参考スコア（独自算出の注目度）: 11.906779308433723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The study of mechanistic interpretability aims to reverse-engineer a model to explain its behaviors. While recent studies have focused on the static mechanism of a certain behavior, the learning dynamics inside a model remain to be explored. In this work, we develop an interpretable fine-tuning method for analyzing the mechanism behind learning. We first introduce the concept of node-level intrinsic dimensionality to describe the learning process of a model in a computational graph. Based on our theory, we propose circuit-tuning, a two-stage algorithm that iteratively builds the minimal subgraph for a specific task and updates the key parameters in a heuristic way. Experimental results confirm the existence of the intrinsic dimensionality at the node level and demonstrate the effectiveness of our method for transparent and interpretable fine-tuning. We visualize and analyze the circuits before, during, and after fine-tuning, providing new insights into the self-organization mechanism of a neural network in the learning process.
• Abstract（参考訳）: 機械論的解釈可能性の研究は、その振る舞いを説明するためにモデルをリバースエンジニアリングすることを目的としている。 最近の研究では、ある行動の静的なメカニズムに焦点が当てられているが、モデル内の学習力学はいまだ研究されていない。 本研究では,学習の背後にあるメカニズムを解析するための,解釈可能な微調整法を開発した。 まず,計算グラフにおけるモデルの学習過程を記述するために,ノードレベルの固有次元の概念を導入する。 本理論では,各タスクの最小部分グラフを反復的に構築し,鍵パラメータをヒューリスティックな方法で更新する2段階アルゴリズムであるサーキットチューニングを提案する。 実験により,ノードレベルでの固有次元の存在を確認し,透過的かつ解釈可能な微調整法の有効性を実証した。 我々は、学習過程におけるニューラルネットワークの自己組織化メカニズムに関する新たな洞察を提供する、微調整の前、中、後の各回路を可視化し、分析する。

関連論文リスト

• Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis [37.37040454356059]
  本稿では,回路解析による微調整プロセスの深い解釈を実現することを目的とする。 我々は、細調整中の様々なチェックポイントの回路を同定し、回路解析、細調整方法、タスク複雑度の間の相互作用を調べる。
  論文  参考訳（メタデータ） (2025-02-17T13:59:41Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• LQResNet: A Deep Neural Network Architecture for Learning Dynamic Processes [9.36739413306697]
  データ駆動型アプローチ、すなわちオペレータ推論フレームワークは、動的プロセスをモデル化する。 演算子推論と特定のディープニューラルネットワークアプローチを組み合わせることで、システムの未知の非線形ダイナミクスを推定することを提案する。
  論文  参考訳（メタデータ） (2021-03-03T08:19:43Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。