論文の概要: Evaluating Brain-Inspired Modular Training in Automated Circuit
Discovery for Mechanistic Interpretability
- arxiv url: http://arxiv.org/abs/2401.03646v1
- Date: Mon, 8 Jan 2024 03:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 17:42:23.806704
- Title: Evaluating Brain-Inspired Modular Training in Automated Circuit
Discovery for Mechanistic Interpretability
- Title(参考訳): 機械的解釈性のための自動回路探索における脳誘発モジュールトレーニングの評価
- Authors: Jatin Nainani
- Abstract要約: 機械的解釈可能性はこの理解への道筋を提供する。
自動サーキットディスカバリは GPT4 や LLAMA のような大型モデルの研究を容易にする。
この研究は、信頼できる透明なAIシステムを構築するという大きな目標を推し進める。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have experienced a rapid rise in AI, changing a
wide range of applications with their advanced capabilities. As these models
become increasingly integral to decision-making, the need for thorough
interpretability has never been more critical. Mechanistic Interpretability
offers a pathway to this understanding by identifying and analyzing specific
sub-networks or 'circuits' within these complex systems. A crucial aspect of
this approach is Automated Circuit Discovery, which facilitates the study of
large models like GPT4 or LLAMA in a feasible manner. In this context, our
research evaluates a recent method, Brain-Inspired Modular Training (BIMT),
designed to enhance the interpretability of neural networks. We demonstrate how
BIMT significantly improves the efficiency and quality of Automated Circuit
Discovery, overcoming the limitations of manual methods. Our comparative
analysis further reveals that BIMT outperforms existing models in terms of
circuit quality, discovery time, and sparsity. Additionally, we provide a
comprehensive computational analysis of BIMT, including aspects such as
training duration, memory allocation requirements, and inference speed. This
study advances the larger objective of creating trustworthy and transparent AI
systems in addition to demonstrating how well BIMT works to make neural
networks easier to understand.
- Abstract(参考訳): 大規模言語モデル(LLM)はAIの急速な増加を経験し、その高度な能力で幅広いアプリケーションを変更している。
これらのモデルが意思決定にますます不可欠になるにつれて、徹底的な解釈可能性の必要性は決して重要ではない。
機械的な解釈性は、複雑なシステム内の特定のサブネットワークや「回路」を同定し分析することで、この理解への経路を提供する。
このアプローチの重要な側面はAutomated Circuit Discoveryであり、GPT4やLLAMAのような大型モデルの研究を実現可能な方法で促進する。
本研究では、ニューラルネットワークの解釈可能性を高めるために、最近の方法であるBIMT(Brain-Inspired Modular Training)を評価する。
本稿では,BIMTが自動回路発見の効率と品質を著しく向上し,手作業による手法の限界を克服することを示す。
我々の比較分析により、BIMTは回路品質、発見時間、スパーシリティの点で既存のモデルより優れていることが明らかになった。
さらに、トレーニング時間、メモリ割り当て要求、推論速度などの側面を含むBIMTの総合的な計算分析を提供する。
この研究は、信頼できる透明なAIシステムを構築するという大きな目標を推し進め、BIMTがいかにニューラルネットワークをより理解しやすいかを示す。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Interpretable and Explainable Machine Learning Methods for Predictive
Process Monitoring: A Systematic Literature Review [1.3812010983144802]
本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。
我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。
我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
論文 参考訳(メタデータ) (2023-12-29T12:43:43Z) - GreenLightningAI: An Efficient AI System with Decoupled Structural and
Quantitative Knowledge [0.0]
強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。
この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。
新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。
我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
論文 参考訳(メタデータ) (2023-12-15T17:34:11Z) - Neuromorphic analog circuits for robust on-chip always-on learning in
spiking neural networks [1.9809266426888898]
混合信号ニューロモルフィックシステムは、極端コンピューティングタスクを解決するための有望なソリューションである。
彼らのスパイクニューラルネットワーク回路は、連続的にセンサーデータをオンラインに処理するために最適化されている。
我々は,短期的アナログ力学と長期的三状態離散化機構を備えたオンチップ学習回路を設計する。
論文 参考訳(メタデータ) (2023-07-12T11:14:25Z) - Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained
Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence [4.998666322418252]
我々は、脳の地図を含む大きなニューロイメージングデータセットを利用するパイプラインを構想する。
我々は,繰り返しるサブサーキットやモチーフの発見手法を開発した。
第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
論文 参考訳(メタデータ) (2023-05-26T23:04:53Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Vision Paper: Causal Inference for Interpretable and Robust Machine
Learning in Mobility Analysis [71.2468615993246]
インテリジェントな輸送システムを構築するには、人工知能とモビリティ分析の複雑な組み合わせが必要である。
ここ数年、高度なディープニューラルネットワークを使った輸送アプリケーションの開発が急速に進んでいる。
このビジョンペーパーは、解釈可能性と堅牢性を必要とするディープラーニングに基づくモビリティ分析における研究課題を強調する。
論文 参考訳(メタデータ) (2022-10-18T17:28:58Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Understanding Neural Code Intelligence Through Program Simplification [3.9704927572880253]
コードインテリジェンスシステムにおけるモデルに対する重要な入力特徴を特定するためのモデルに依存しないアプローチを提案する。
当社のアプローチであるSIVANDでは,CIモデルの入力プログラムのサイズを縮小する単純化手法を採用しています。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
論文 参考訳(メタデータ) (2021-06-07T05:44:29Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳(メタデータ) (2020-10-20T08:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。