論文の概要: Graphical Design of Interpretable Architectures

• arxiv url: http://arxiv.org/abs/2608.18936v2
• Date: Thu, 20 Aug 2026 08:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 14:00:35.624397
• Title: Graphical Design of Interpretable Architectures
• Title（参考訳）: 解釈可能なアーキテクチャのグラフィカル設計
• Abstract要約: 本稿では,ペンローズテンソル表記法を応用した,解釈可能なAIアーキテクチャの設計のためのグラフィカル表記法を提案する。 まず、この表記法を用いて、ボトルネック、スパースプローブ、プロトタイプネットワーク、ニューラル付加モデル、線形モデルの混合を含む、構成によって解釈可能なアーキテクチャを記述する。 次に、フロンティア解釈可能な言語モデルであるSteerling-8Bの重要なアーキテクチャコンポーネントを図解する。この図はアーキテクチャのグローバルな洞察を導き、Steerlingは残差モデルであり、個々の操作の幾何学的解釈であり、33行のPyTorchコードへの直接変換であることを示す。
• 参考スコア（独自算出の注目度）: 9.60458486927291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing, implementing, and comparing interpretable architectures requires a formal language to represent them. The most common representations fall short in one of two ways. Symbolic equations give no global view of an architecture at a glance. Probabilistic graphical models and flowcharts do not describe actual tensor manipulations, thus hiding key insights and limiting reproducibility. To close this gap, we introduce a graphical notation for designing interpretable AI architectures, adapted from Penrose tensor notation. This graphical notation gives a global view of an architecture and maps one to one onto PyTorch einsum code. We first use this notation to describe architectures that are interpretable by construction, including concept bottlenecks, sparse probes, prototype networks, neural additive models, and mixtures of linear models. We then diagram the key architectural components of Steerling-8B, a frontier interpretable language model. The diagram yields global insights into the architecture (e.g., showing that Steerling is a residual model), a geometric interpretation of each individual operation, and a direct translation into 33 lines of PyTorch code.
• Abstract（参考訳）: 解釈可能なアーキテクチャの設計、実装、比較には、それらを表現するための形式言語が必要である。 最も一般的な表現は2つの方法の1つで不足する。 シンボリック方程式は、アーキテクチャの全体像を一目で見ることはできない。 確率的グラフィカルモデルとフローチャートは実際のテンソル操作を記述していないため、重要な洞察を隠蔽し再現性を制限する。 このギャップを埋めるために、ペンローズテンソル表記法から適応した解釈可能なAIアーキテクチャを設計するためのグラフィカル表記法を導入する。 このグラフィカルな表記法は、アーキテクチャのグローバルなビューを与え、PyTorchのeinsumコードに1つずつマップする。 まず、この表記法を用いて、概念ボトルネック、スパースプローブ、プロトタイプネットワーク、ニューラル付加モデル、線形モデルの混合を含む、構成によって解釈可能なアーキテクチャを記述する。 次に、フロンティア解釈可能な言語モデルであるSteerling-8Bの重要なアーキテクチャコンポーネントを図示します。 この図は、アーキテクチャ(例えば、ステアリングが残留モデルであることを示す)、個々の操作の幾何学的解釈、および33行のPyTorchコードへの直接変換に関するグローバルな洞察を与える。

関連論文リスト

• Weaves, Wires, and Morphisms: Formalizing and Implementing the Algebra of Deep Learning [0.42970700836450487]
  アドホック表記、ダイアグラム、擬似コードは、非線形放送と個々のコンポーネントと合成モデルの関係をうまく扱えない。 本稿では,新しい軸列とアレイブロードキャストのカテゴリを通しての放送を形式化する,ディープラーニングモデルのための分類的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-04-08T16:07:15Z)
• Hierarchical Process Reward Models are Symbolic Vision Learners [56.94353087007494]
  記号型コンピュータビジョンは、明示的な論理規則と構造化された表現を通して図を表現し、機械ビジョンの解釈可能な理解を可能にする。 これは、ピクセルベースのビジュアルモデルと根本的に異なる学習パラダイムを必要とする。 本稿では, インプットダイアグラムをプリミティブにエンコードし, インプットダイアグラムを再構築する自己教師型オートエンコーダを提案する。
  論文  参考訳（メタデータ） (2025-12-02T18:46:40Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• SE-VGAE: Unsupervised Disentangled Representation Learning for Interpretable Architectural Layout Design Graph Generation [0.0]
  本稿では,非教師付き非教師付き非教師付き表現学習フレームワーク,スタイルベースエッジ拡張変分グラフ自動エンコーダを提案する。 このフレームワークは、表現の絡み合いを優先順位付けしながら、属性付き隣接多重グラフの形式でアーキテクチャレイアウトを生成する。 実世界のフロアプラン画像から抽出した大規模レイアウトグラフデータセットのベンチマークに貢献する。
  論文  参考訳（メタデータ） (2024-06-25T09:40:47Z)
• GraphGLOW: Universal and Generalizable Structure Learning for Graph Neural Networks [72.01829954658889]
  本稿では,この新たな問題設定の数学的定義を紹介する。 一つのグラフ共有構造学習者と複数のグラフ固有GNNを協調する一般的なフレームワークを考案する。 十分に訓練された構造学習者は、微調整なしで、目に見えない対象グラフの適応的な構造を直接生成することができる。
  論文  参考訳（メタデータ） (2023-06-20T03:33:22Z)
• Hierarchical Graph Networks for 3D Human Pose Estimation [50.600944798627786]
  最近の2次元から3次元の人間のポーズ推定は、人間の骨格のトポロジーによって形成されたグラフ構造を利用する傾向がある。 この骨格トポロジーは体の構造を反映するには小さすぎるため、重度の2次元から3次元のあいまいさに悩まされていると我々は主張する。 本稿では,これらの弱点を克服するために,新しいグラフ畳み込みネットワークアーキテクチャである階層グラフネットワークを提案する。
  論文  参考訳（メタデータ） (2021-11-23T15:09:03Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• HindSight: A Graph-Based Vision Model Architecture For Representing Part-Whole Hierarchies [0.0]
  本稿では,画像中の部分全体階層の表現をグラフ形式で符号化するモデルアーキテクチャを提案する。 イメージを異なるレベルのパッチに分割し、すべてのパッチを完全に接続されたグラフのノードとして扱うというアイデアです。 動的特徴抽出モジュールは、各グラフイテレーションでこれらのパッチから特徴表現を抽出するために使用される。
  論文  参考訳（メタデータ） (2021-04-08T12:17:54Z)
• Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification [50.83222170524406]
  解法ジレンマの統一概念に基づくグラフ分類における本質的難易度の研究」 構造ランドマークと相互作用モデリングのためのインダクティブニューラルネットワークモデルSLIM'を提案する。
  論文  参考訳（メタデータ） (2020-06-29T01:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。