論文の概要: Towards Worst-Case Guarantees with Scale-Aware Interpretability
- arxiv url: http://arxiv.org/abs/2602.05184v1
- Date: Thu, 05 Feb 2026 01:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.698061
- Title: Towards Worst-Case Guarantees with Scale-Aware Interpretability
- Title(参考訳): スケール・アウェア・インタプリタビリティによる最悪の保証に向けて
- Abstract要約: ニューラルネットワークは、自然データの階層的多スケール構造に従って情報を整理する。
我々は,形式機械と解釈可能性ツールを開発するための統一的な研究課題,即時対応型解釈可能性(enmphscale-aware interpretability)を提案する。
- 参考スコア(独自算出の注目度): 58.519943565092724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks organize information according to the hierarchical, multi-scale structure of natural data. Methods to interpret model internals should be similarly scale-aware, explicitly tracking how features compose across resolutions and guaranteeing bounds on the influence of fine-grained structure that is discarded as irrelevant noise. We posit that the renormalisation framework from physics can meet this need by offering technical tools that can overcome limitations of current methods. Moreover, relevant work from adjacent fields has now matured to a point where scattered research threads can be synthesized into practical, theory-informed tools. To combine these threads in an AI safety context, we propose a unifying research agenda -- \emph{scale-aware interpretability} -- to develop formal machinery and interpretability tools that have robustness and faithfulness properties supported by statistical physics.
- Abstract(参考訳): ニューラルネットワークは、自然データの階層的多スケール構造に従って情報を整理する。
モデル内部の解釈方法も同様にスケールアウェアで、解像度をまたいで機能がどのように構成されているかを明示的に追跡し、無関係なノイズとして排除されたきめ細かい構造の影響を保証すべきである。
我々は、現在の手法の限界を克服できる技術ツールを提供することで、物理からの再正規化フレームワークがこのニーズを満たすことができると仮定する。
さらに、隣接する分野からの関連する研究が成熟し、散在する研究スレッドを実用的な理論インフォームドツールに合成できるようになった。
AI安全性の文脈でこれらのスレッドを組み合わせるために、統計物理学によって支持される堅牢性と忠実性を持つ形式的な機械と解釈可能性ツールを開発するための統一された研究アジェンダ --emph{scale-aware interpretability} を提案する。
関連論文リスト
- On the Structural Limits of Machine Learning Decision Systems: An Information-Theoretic, Interaction-Based, and Stochastic-Dynamical Perspective [0.0]
本研究では、情報理論と相互作用に基づく視点から、データ駆動型意思決定システムの本質的な限界について検討する。
ファノ型境界による分類における最小到達誤差とクラメロ・ラオ不等式によるパラメトリック推定における精度限界を解析した。
論文 参考訳(メタデータ) (2026-08-13T17:34:41Z) - Mechanistic Interpretability for Neural Networks: Circuits, Sparse Features and Symbolic Reasoning [0.0]
機械的解釈可能性(Mechanistic Interpretability)は、現代のニューラルネットワークの内部アルゴリズムをリバースエンジニアリングしようとする新興分野である。
本稿では、Transformer回路解析の詳細な検討を行い、内部コンポーネントが複雑なタスクやコンテキスト内学習をどのように駆動するかを考察する。
Sparse Autoencoders(SAE)やTranscoderといったツールが、絡み合ったネットワークアクティベーションを、別個の人間解釈可能な機能に分解する方法を実証する。
論文 参考訳(メタデータ) (2026-07-08T12:04:38Z) - SYNAPSE: Framework for Neuron Analysis and Perturbation in Sequence Encoding [4.507191680687611]
医療やサイバーセキュリティのような敏感なドメインでは、透明性、信頼性、堅牢性を保証することが不可欠である。
この研究は、Transformerモデルの内部動作を理解しテストするための、体系的でトレーニング不要なフレームワークであるSynAPSEを提案する。
論文 参考訳(メタデータ) (2026-03-09T14:18:47Z) - CLAIRE: Compressed Latent Autoencoder for Industrial Representation and Evaluation -- A Deep Learning Framework for Smart Manufacturing [51.56484100374058]
CLAIREは、教師なしの深層表現学習と、スマート製造システムにおけるインテリジェントな品質管理のための教師付き分類を統合したハイブリッドエンドツーエンド学習フレームワークである。
最適化されたディープオートエンコーダを使用して、生の入力をコンパクトな潜伏空間に変換し、不適切な特徴やノイズを抑えながら本質的なデータ構造を効果的にキャプチャする。
提案したフレームワークは、堅牢な障害検出のために、説明可能なAIと機能認識の正規化を統合する可能性を強調している。
論文 参考訳(メタデータ) (2026-03-06T15:11:58Z) - RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis [53.90240071275054]
SLM(Small Language Models)によるローカライズドインテリジェンスへの移行により、リソース制約のあるエッジハードウェア上での厳密なパフォーマンス評価の必要性が高まっている。
運用強度レンズ(OI)によるアーキテクチャプリミティブとハードウェア制約を統一する体系的フレームワークを提案する。
推論-ポテンシャル領域を定義することにより、同一ハードウェア基板上のLarge Language Models(LLM)の効率差を比較するための新しい指標として、相対推論ポテンシャルを導入する。
論文 参考訳(メタデータ) (2026-02-12T03:02:22Z) - Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale [50.33952894976367]
我々は文脈自由文法を用いて、ウェブスケールテキストコーパスのための忠実で効率的なプロキシである合成コーパスを生成する。
設計したデータ生成プロセスにおいて,誘導ヘッド,関数ベクトル,ハイドラ効果という3つの力学現象の出現について検討する。
これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。
論文 参考訳(メタデータ) (2026-02-04T14:49:13Z) - Mechanistic Interpretability for Large Language Model Alignment: Progress, Challenges, and Future Directions [16.821238326410324]
大規模言語モデル(LLM)は様々なタスクにまたがる優れた機能を実現しているが、内部決定プロセスはほとんど不透明である。
機械的解釈可能性(Mechanistic Interpretability)は、これらのモデルの理解と整合性のための重要な研究の方向性として現れている。
我々は、人間のフィードバックからの強化学習、立憲AI、スケーラブルな監視など、解釈可能性に関する洞察がどのようにアライメント戦略に影響を与えたかを分析する。
論文 参考訳(メタデータ) (2026-01-21T11:43:57Z) - Explainable Neural Inverse Kinematics for Obstacle-Aware Robotic Manipulation: A Comparative Analysis of IKNet Variants [0.28544513613730205]
ディープニューラルネットワークは、低コストのマニピュレータが複雑な軌道をリアルタイムで実行できる地点まで、逆運動学(IK)推論を加速させた。
本研究では,Shapley値属性と物理に基づく障害物回避評価を統合した説明可能性中心ワークフローを提案する。
論文 参考訳(メタデータ) (2025-12-29T09:02:02Z) - Circuit Insights: Towards Interpretability Beyond Activations [20.178085579725472]
WeightLensとCircuitLensの2つの相補的手法を提案する。
WeightLensは学習したウェイトから直接機能を解釈し、説明モデルやデータセットの必要性を取り除く。
CircuitLensは、コンポーネント間のインタラクションから機能アクティベーションがどのように発生し、回路レベルのダイナミクスを明らかにするのかをキャプチャする。
論文 参考訳(メタデータ) (2025-10-16T17:49:41Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳(メタデータ) (2025-08-12T09:45:19Z) - Learning Causal Structure Distributions for Robust Planning [53.753366558072806]
構造情報の不確実性を考慮しながら,機能的関係を学習することで,より堅牢な力学モデルがもたらされることがわかった。
これは、因果構造を無視し、ロボットシステムにおける相互作用の空間性を活用するのに失敗する一般的なモデル学習手法とは対照的である。
本稿では,本モデルを用いてロボットの力学を学習し,新しい環境下での新たな作業を行うためのサンプリング・ベース・プランナーを併用することを提案する。
論文 参考訳(メタデータ) (2025-08-08T22:43:17Z) - Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。
本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。
残る技術的課題や倫理的考察も分析する。
論文 参考訳(メタデータ) (2025-06-05T05:42:27Z) - Information Science Principles of Machine Learning: A Causal Chain Meta-Framework Based on Formalized Information Mapping [7.299890614172539]
本研究は、機械学習における重要な課題、すなわち、統一的な形式的理論的枠組みの欠如と、モデル解釈可能性と倫理的安全性に関する基礎理論の欠如に対処する。
まず、一般的な機械学習段階における存在論的状態とキャリアマッピングを明確に定義し、形式的な情報モデルを構築する。
学習可能な述語と処理可能な述語を導入し、学習と処理機能を導入することにより、機械学習プロセスを管理する因果連鎖論理と制約法を解析する。
論文 参考訳(メタデータ) (2025-05-19T14:39:41Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳(メタデータ) (2021-06-14T20:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。