論文の概要: CLT-Forge: A Scalable Library for Cross-Layer Transcoders and Attribution Graphs

• arxiv url: http://arxiv.org/abs/2603.21014v1
• Date: Sun, 22 Mar 2026 02:20:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.193979
• Title: CLT-Forge: A Scalable Library for Cross-Layer Transcoders and Attribution Graphs
• Title（参考訳）: CLT-Forge: クロス層トランスコーダと属性グラフのためのスケーラブルライブラリ
• Authors: Florent Draye, Abir Harrasse, Vedant Palit, Tung-Yu Wu, Jiarui Liu, Punya Syon Pandey, Roderick Wu, Terry Jingchen Zhang, Zhijing Jin, Bernhard Schölkopf,
• Abstract要約: CLT(Cross-Layer Transcoders)のエンドツーエンドトレーニングと解釈性のためのオープンソースライブラリを導入する。 我々のフレームワークは、スケーラブルな分散トレーニングとモデルシャーディングと圧縮アクティベーションキャッシュを統合している。 これにより、CLTベースの機械的解釈可能性のスケーリングのための実用的で統一的なソリューションが提供される。
• 参考スコア（独自算出の注目度）: 42.30194848075211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability seeks to understand how Large Language Models (LLMs) represent and process information. Recent approaches based on dictionary learning and transcoders enable representing model computation in terms of sparse, interpretable features and their interactions, giving rise to feature attribution graphs. However, these graphs are often large and redundant, limiting their interpretability in practice. Cross-Layer Transcoders (CLTs) address this issue by sharing features across layers while preserving layer-specific decoding, yielding more compact representations, but remain difficult to train and analyze at scale. We introduce an open-source library for end-to-end training and interpretability of CLTs. Our framework integrates scalable distributed training with model sharding and compressed activation caching, a unified automated interpretability pipeline for feature analysis and explanation, attribution graph computation using Circuit-Tracer, and a flexible visualization interface. This provides a practical and unified solution for scaling CLT-based mechanistic interpretability. Our code is available at: https://github.com/LLM-Interp/CLT-Forge.
• Abstract（参考訳）: 機械的解釈可能性 (Mechanistic Interpretability) は、Large Language Models (LLM) がどのように情報を表現し、処理するかを理解する。 辞書学習とトランスコーダに基づく最近のアプローチは、スパース、解釈可能な特徴とその相互作用の観点からモデル計算を表現し、特徴属性グラフを創出する。 しかし、これらのグラフは多くの場合大きく冗長であり、実際は解釈可能性を制限する。 Cross-Layer Transcoders (CLT)は、レイヤ固有のデコードを保持しながら、レイヤ間で機能を共有することでこの問題に対処する。 CLTのエンドツーエンドトレーニングと解釈可能性のためのオープンソースライブラリを導入する。 本フレームワークは,モデルシャーディングと圧縮アクティベーションキャッシング,特徴分析と説明のための統合された自動解釈可能性パイプライン,Circuit-Tracerを用いた属性グラフ計算,フレキシブルなビジュアライゼーションインターフェースと,スケーラブルな分散トレーニングを統合した。 これにより、CLTベースの機械的解釈可能性のスケーリングのための実用的で統一的なソリューションが提供される。 私たちのコードは、https://github.com/LLM-Interp/CLT-Forge.comで利用可能です。

関連論文リスト

• ChartAgent: A Chart Understanding Framework with Tool Integrated Reasoning [26.725654222717335]
  ツール統合推論に基づくチャート理解フレームワークであるChartAgentを紹介する。 人間の認識にインスパイアされたChartAgentは、複雑なチャート解析を可観測で再生可能な一連のステップに分解する。 スパースアノテーション設定下ではChartAgentが大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2025-12-16T03:17:04Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• S^2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering [38.35594663863098]
  6つの大規模マルチビューデータセットの実験結果から、S2MVTCはクラスタリング性能とCPU実行時間において、最先端のアルゴリズムを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T05:00:29Z)
• CONCORD: Towards a DSL for Configurable Graph Code Representation [3.756550107432323]
  カスタマイズ可能なグラフ表現を構築するためのドメイン固有言語であるCONCORDを紹介する。 実例として,コードの臭い検出に有効であることを示す。 ConCORDは、研究者がカスタマイズ可能なグラフベースのコード表現を作成し、実験するのに役立つ。
  論文  参考訳（メタデータ） (2024-01-31T16:16:48Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Multi-view Self-Constructing Graph Convolutional Networks with Adaptive Class Weighting Loss for Semantic Segmentation [23.623276007011373]
  セマンティックセグメンテーションのためのMulti-view Self-Constructing Graph Convolutional Networks (MSCG-Net) と呼ばれる新しいアーキテクチャを提案する。 航空機画像の回転不変性を明確に活用するために,複数のビューを利用する。 提案手法の有効性と柔軟性を農業ビジョン課題に適用し,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T22:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。