論文の概要: Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety

• arxiv url: http://arxiv.org/abs/2611.08438v1
• Date: Thu, 05 Nov 2026 18:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.62277
• Title: Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety
• Title（参考訳）: 内部からAIを理解する:AI安全のための機械的解釈可能性の現状
• Abstract要約: 私たちは、AIの安全性に関する機械論的解釈可能性を調査し、その疑問に答える。 本稿では,機能,多意味性,トランスフォーマー計算,回路など,機械的解釈可能性の基礎を紹介する。 本稿では,機械的解釈可能性の主張を評価するための統一的な枠組みを提案し,その目的,前提,トレードオフによって6つの研究方向性を特徴づける。
• 参考スコア（独自算出の注目度）: 87.66647114730743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are likely to be among the most consequential artefacts in human history. As these systems become more capable and autonomous, their potential to cause societal harm also grows, making AI safety one of the defining challenges of our time. Yet we continue to build increasingly powerful systems without fully understanding how they work, how they will behave in unfamiliar situations, or how to reliably control them. Mechanistic interpretability offers a path towards understanding these systems by studying their internal representations and computations, with the aim of evaluating, predicting, and controlling behaviour. We survey mechanistic interpretability for AI safety in order to answer the question: Does understanding how models work actually make them safer? We place mechanistic interpretability in the broader context of interpretability research and compare its mechanistic evidence with behavioural evaluation. We introduce the foundations of mechanistic interpretability, including features, polysemanticity, transformer computation, and circuits, and survey methods for feature extraction and analysis, circuit discovery and causal verification, explaining intermediate representations in natural language, learning dynamics, and training-data attribution. Beyond surveying existing methods, we propose a unified framework for evaluating mechanistic interpretability claims and characterise six research orientations by their goals, assumptions, and trade-offs. Finally, we examine how mechanistic understanding can support AI safety, including knowledge editing, steering, and monitoring, and assess its limitations, failure modes, open problems, and relationship to behavioural safety measures. We also release a repository of code notebooks with worked examples that reproduce key findings from surveyed methods, allowing readers to build intuition through hands-on experimentation.
• Abstract（参考訳）: ニューラルネットワークは人類史上最も重要な人工物である可能性が高い。 これらのシステムがより有能で自律的になるにつれて、社会的危害を引き起こす可能性も高まり、AIの安全性は私たちの時代の決定的な課題の1つとなっている。 それでも私たちは,それらがどのように動作するのか,不慣れな状況でどのように振る舞うのか,あるいはそれらを確実に制御する方法を十分に理解せずに,ますます強力なシステムを構築し続けています。 機械的解釈可能性(Mechanistic Interpretability)は、それらの内部表現と計算を研究し、振る舞いを評価し、予測し、制御することを目的として、これらのシステムを理解するための道筋を提供する。 私たちは、AIの安全性に関する機械論的解釈可能性を調査し、その疑問に答える。 我々は、機械的解釈可能性の研究のより広い文脈に機械的解釈可能性を設定し、その力学的証拠と行動的評価を比較する。 本稿では,特徴抽出と解析,回路発見と因果検証,自然言語の中間表現の説明,学習力学,学習データ属性など,機械的解釈可能性の基礎を紹介する。 既存の手法を調査する以外に、機械的解釈可能性の主張を評価するための統一的な枠組みを提案し、目標、仮定、トレードオフによって6つの研究方向性を特徴づける。 最後に、知識編集、ステアリング、モニタリングを含む機械的理解がAIの安全性をどのようにサポートするかを検討し、その限界、障害モード、オープンな問題、行動安全対策との関係を評価する。 調査対象のメソッドから重要な発見を再現し,手作業による実験を通じて直感を構築可能な,動作するサンプルを備えたコードノートのレポジトリもリリースしています。

関連論文リスト

• Radical AI Interpretability [0.0]
  我々はAIシステムをエージェントとして解釈するためのフレームワークを開発する。 我々は、急進的解釈の哲学的伝統と機械的解釈可能性の道具を描いている。
  論文  参考訳（メタデータ） (2026-06-25T01:58:38Z)
• Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
  Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。 デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。 この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
  論文  参考訳（メタデータ） (2026-03-28T13:21:44Z)
• AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
  このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。 我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。 我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
  論文  参考訳（メタデータ） (2025-11-27T16:56:04Z)
• Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods [0.0]
  この文献レビューは、急速に進化するAI安全性評価の分野を集約する。 それは、どの特性を計測するか、どのように測定するか、そしてこれらの測定がフレームワークにどのように統合されるかという、3つの次元に関する体系的な分類法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T16:55:07Z)
• Mechanistic Interpretability for AI Safety -- A Review [28.427951836334188]
  本稿では,機械的解釈可能性について概説する。 機械的解釈性は、AIシステムがより強力で精査されるにつれて、破滅的な結果を防ぐのに役立つ。
  論文  参考訳（メタデータ） (2024-04-22T11:01:51Z)
• Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
  本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。 決定木を利用して,ロボット学習における絡み合いの要因を抽出する。 学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
  論文  参考訳（メタデータ） (2022-10-13T01:10:41Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。