論文の概要: Evaluating Brain-Inspired Modular Training in Automated Circuit Discovery for Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2401.03646v1
• Date: Mon, 8 Jan 2024 03:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-09 17:42:23.806704
• Title: Evaluating Brain-Inspired Modular Training in Automated Circuit Discovery for Mechanistic Interpretability
• Title（参考訳）: 機械的解釈性のための自動回路探索における脳誘発モジュールトレーニングの評価
• Authors: Jatin Nainani
• Abstract要約: 機械的解釈可能性はこの理解への道筋を提供する。 自動サーキットディスカバリは GPT4 や LLAMA のような大型モデルの研究を容易にする。 この研究は、信頼できる透明なAIシステムを構築するという大きな目標を推し進める。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have experienced a rapid rise in AI, changing a wide range of applications with their advanced capabilities. As these models become increasingly integral to decision-making, the need for thorough interpretability has never been more critical. Mechanistic Interpretability offers a pathway to this understanding by identifying and analyzing specific sub-networks or 'circuits' within these complex systems. A crucial aspect of this approach is Automated Circuit Discovery, which facilitates the study of large models like GPT4 or LLAMA in a feasible manner. In this context, our research evaluates a recent method, Brain-Inspired Modular Training (BIMT), designed to enhance the interpretability of neural networks. We demonstrate how BIMT significantly improves the efficiency and quality of Automated Circuit Discovery, overcoming the limitations of manual methods. Our comparative analysis further reveals that BIMT outperforms existing models in terms of circuit quality, discovery time, and sparsity. Additionally, we provide a comprehensive computational analysis of BIMT, including aspects such as training duration, memory allocation requirements, and inference speed. This study advances the larger objective of creating trustworthy and transparent AI systems in addition to demonstrating how well BIMT works to make neural networks easier to understand.
• Abstract（参考訳）: 大規模言語モデル(LLM)はAIの急速な増加を経験し、その高度な能力で幅広いアプリケーションを変更している。 これらのモデルが意思決定にますます不可欠になるにつれて、徹底的な解釈可能性の必要性は決して重要ではない。 機械的な解釈性は、複雑なシステム内の特定のサブネットワークや「回路」を同定し分析することで、この理解への経路を提供する。 このアプローチの重要な側面はAutomated Circuit Discoveryであり、GPT4やLLAMAのような大型モデルの研究を実現可能な方法で促進する。 本研究では、ニューラルネットワークの解釈可能性を高めるために、最近の方法であるBIMT(Brain-Inspired Modular Training)を評価する。 本稿では,BIMTが自動回路発見の効率と品質を著しく向上し,手作業による手法の限界を克服することを示す。 我々の比較分析により、BIMTは回路品質、発見時間、スパーシリティの点で既存のモデルより優れていることが明らかになった。 さらに、トレーニング時間、メモリ割り当て要求、推論速度などの側面を含むBIMTの総合的な計算分析を提供する。 この研究は、信頼できる透明なAIシステムを構築するという大きな目標を推し進め、BIMTがいかにニューラルネットワークをより理解しやすいかを示す。

関連論文リスト

• Advances and Frontiers of LLM-based Issue Resolution in Software Engineering: A Comprehensive Survey [59.3507264893654]
  課題解決は、現実世界の開発に不可欠な複雑なソフトウェアエンジニアリングタスクです。 SWE-benchのようなベンチマークでは、このタスクは大規模言語モデルでは極めて困難であることが判明した。 本稿では,この新興領域を体系的に調査する。
  論文  参考訳（メタデータ） (2026-01-15T18:55:03Z)
• Unboxing the Black Box: Mechanistic Interpretability for Algorithmic Understanding of Neural Networks [0.0]
  機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークの内部計算を研究し、それらを人間の理解可能なアルゴリズムに変換するプロセスである。 我々は、MIは機械学習システムのより科学的理解を支援する大きな可能性を秘めていると論じる。
  論文  参考訳（メタデータ） (2025-11-24T16:16:49Z)
• AI- and Ontology-Based Enhancements to FMEA for Advanced Systems Engineering: Current Developments and Future Directions [1.1254693939127907]
  我々は、従来のモード・アンド・エフェクト・アナリティクス(FMEA)を、よりインテリジェントで、データ駆動で、セマンティックに強化されたプロセスに変換することを目的とした最近の進歩についてレビューする。 機械学習や自然言語処理など、人工知能(AI)のテクニックが、FMEAをよりダイナミックでデータ駆動のプロセスに変換する方法について検討する。
  論文  参考訳（メタデータ） (2025-11-21T19:51:06Z)
• AnaFlow: Agentic LLM-based Workflow for Reasoning-Driven Explainable and Sample-Efficient Analog Circuit Sizing [1.2617078020344616]
  サンプル効率と説明可能なアナログ回路サイズのための新しいエージェントAIフレームワークを提案する。 AnaFlowフレームワークは、複雑さの異なる2つの回路で実証されており、サイズタスクを完全に完了することができる。 固有の説明可能性により、アナログ設計空間探索の強力なツールとなり、アナログEDAの新しいパラダイムとなる。
  論文  参考訳（メタデータ） (2025-11-05T18:24:01Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• PISA: A Pragmatic Psych-Inspired Unified Memory System for Enhanced AI Agency [50.712873697511206]
  既存の作業は、多種多様なタスクへの適応性に欠けることが多く、AIエージェントメモリの構成的およびタスク指向の役割を見落としている。 PISAは,メモリを構築的かつ適応的なプロセスとして扱う,実践的でサイコにインスパイアされた統合メモリシステムである。 既存のLOCOMOベンチマークと新たに提案したデータ解析タスクのAggQAベンチマークに基づいて,PISAが適応性と長期的知識保持を大幅に向上させることで,新たな最先端技術を設定することを確認した。
  論文  参考訳（メタデータ） (2025-10-12T10:34:35Z)
• Automatic Speech Recognition in the Modern Era: Architectures, Training, and Evaluation [0.0]
  音声認識は、ディープラーニングの進歩によって、過去10年間に大きく変化してきた。 この調査は、従来のハイブリッドシステムから、現在支配的なエンドツーエンドのニューラルアーキテクチャへの進化をグラフ化して、ASRの現代を包括的に概観する。
  論文  参考訳（メタデータ） (2025-10-11T05:38:45Z)
• Are Large Brainwave Foundation Models Capable Yet? Insights from Fine-tuning [41.40603531008809]
  我々は、系統的な微調整実験により、現在の大脳波基礎モデル(LBM)を評価する。 我々の分析によると、最先端のLBMは従来のディープアーキテクチャよりも限界的な改善(0.9%-1.2%)しか得られていない。
  論文  参考訳（メタデータ） (2025-07-01T21:21:42Z)
• Advancing AI Research Assistants with Expert-Involved Learning [84.30323604785646]
  大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、生物医学的な発見を促進することを約束するが、その信頼性は未定である。 ARIEL(AI Research Assistant for Expert-in-the-Loop Learning)は,オープンソースの評価・最適化フレームワークである。 LMMは詳細な視覚的推論に苦しむのに対し、最先端のモデルでは流動性はあるが不完全な要約を生成する。
  論文  参考訳（メタデータ） (2025-05-03T14:21:48Z)
• Switch-Based Multi-Part Neural Network [0.15749416770494706]
  AIシステムのスケーラビリティ、解釈可能性、パフォーマンスを向上させるために設計された、分散的でモジュール化されたニューラルネットワークフレームワーク。 この枠組みの中心には、個々のニューロンの選択的活性化と訓練を管理する動的スイッチ機構がある。
  論文  参考訳（メタデータ） (2025-04-25T10:39:42Z)
• Neural network interpretability with layer-wise relevance propagation: novel techniques for neuron selection and visualization [0.49478969093606673]
  本稿では,選択したニューロンのパーシングを改善する新しいアプローチを提案する。 Visual Geometry Group 16 (VGG16) アーキテクチャをケーススタディとして用いたLRP後方伝播 本手法は、コンピュータビジョンアプリケーションのための、より透明な人工知能(AI)システムの開発を支援する。
  論文  参考訳（メタデータ） (2024-12-07T15:49:14Z)
• Enhancing Medical Learning and Reasoning Systems: A Boxology-Based Comparative Analysis of Design Patterns [0.0]
  本研究では,ハイブリッドAIシステムの設計パターンとその臨床的意思決定における有効性について分析する。 Boxologyの構造化されたモジュール型アポラチは、ハイブリッドAIシステムの開発と分析において、大きなアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-08-05T12:53:04Z)
• Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving [52.808273563372126]
  本稿では,基本認識モジュールとユーザフレンドリなグラフィカルインタフェースのライブラリの提供を目的とした,新しい階層的BEV知覚パラダイムを提案する。 我々は,大規模公開データセットと合理化開発プロセスを効果的に活用するために,Pretrain-Finetune戦略を実行している。 また、マルチモジュールラーニング(MML)アプローチを提案し、複数のモデルの相乗的かつ反復的な訓練により性能を向上させる。
  論文  参考訳（メタデータ） (2024-07-17T11:17:20Z)
• Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions [48.0590120095748]
  本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。 我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-20T15:14:14Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review [1.3812010983144802]
  本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。 我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。 我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-29T12:43:43Z)
• GreenLightningAI: An Efficient AI System with Decoupled Structural and Quantitative Knowledge [0.0]
  強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。 この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。 新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。 我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
  論文  参考訳（メタデータ） (2023-12-15T17:34:11Z)
• Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review [1.6006550105523192]
  大規模言語モデル(LLM)の能力を解き放つ上で,迅速なエンジニアリングが果たす重要な役割を概観する 自己整合性、思考の連鎖、そして生成された知識などの技術を含む、素早い工学の基礎的方法論と先進的な方法論の両方を検査する。 レビューはまた、AI能力の進歩におけるエンジニアリングの急進的な役割を反映し、将来の研究と応用のための構造化されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-10-23T09:15:18Z)
• Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence [4.998666322418252]
  我々は、脳の地図を含む大きなニューロイメージングデータセットを利用するパイプラインを構想する。 我々は,繰り返しるサブサーキットやモチーフの発見手法を開発した。 第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
  論文  参考訳（メタデータ） (2023-05-26T23:04:53Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Vision Paper: Causal Inference for Interpretable and Robust Machine Learning in Mobility Analysis [71.2468615993246]
  インテリジェントな輸送システムを構築するには、人工知能とモビリティ分析の複雑な組み合わせが必要である。 ここ数年、高度なディープニューラルネットワークを使った輸送アプリケーションの開発が急速に進んでいる。 このビジョンペーパーは、解釈可能性と堅牢性を必要とするディープラーニングに基づくモビリティ分析における研究課題を強調する。
  論文  参考訳（メタデータ） (2022-10-18T17:28:58Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。