論文の概要: The Communication Map of a Transformer

• arxiv url: http://arxiv.org/abs/2608.22007v1
• Date: Sat, 22 Aug 2026 15:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.555462
• Title: The Communication Map of a Transformer
• Title（参考訳）: 変圧器の通信地図
• Abstract要約: マップは、重みだけで言語モデル内のあらゆる潜在的な通信チャネルをグラフ化します。 GPT-2は15秒、Pythia-6.9Bは11分かかる。 2つの応用が地図の有用性を実証している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The components of a transformer communicate by writing to and reading from a shared residual stream, and mechanistic interpretability has mapped these connections by hand, one circuit at a time. We present the communication map, which charts every potential communication channel in a language model from weights alone, generalizing the composition score of Elhage et al. (2021) into a single coupling coefficient covering all 18 connection classes, from entire attention head circuits to single neurons. The census of all candidate channels, from $6.3\times10^{8}$ in GPT-2 to $1.3\times10^{11}$ in Pythia-6.9B, finds that 70-89% of head pairs are oriented far from chance, some coupled strongly and others actively avoiding each other. The full map costs 15 seconds for GPT-2 and 11 minutes for Pythia-6.9B on one consumer GPU. Two applications demonstrate the utility of the map. In Application 1, the strongest head-to-head couplings recover the known induction circuits blind and group them into communities, and ablating one such community destroys the model's in-context copying. In Application 2, pooling every head's coupling coefficients identifies a distinct two-dimensional stream subspace, whose deletion abolishes the induction capability in six models up to Pythia-6.9B. This subspace is different from those identified by either activation PCA or outlier dimensions. We release the map, the statistical machinery, and the intervention suite.
• Abstract（参考訳）: 変圧器のコンポーネントは、共有残差ストリームへの書き込みと読み出しによって通信し、機械的解釈性は、これらの接続を一度に1つの回路で手動でマッピングした。 本稿では,重みのみから言語モデル内のすべての通信チャネルをグラフ化し,Elhage et al (2021) の合成スコアを,注目ヘッド回路全体から単一ニューロンまでの18の接続クラスすべてをカバーする1つの結合係数に一般化する通信マップを提案する。 GPT-2で6.3\times10^{8}$からPythia-6.9Bで1.3\times10^{11}$までの全ての候補チャネルの国勢調査では、70-89%のヘッドペアが偶然から遠く離れており、強く結びついたものや、積極的にお互いを避けているものもある。 フルマップはGPT-2で15秒、Pythia-6.9Bで11分かかる。 2つの応用が地図の有用性を実証している。 アプリケーション1では、最強のヘッド・ツー・ヘッド結合が既知の誘導回路をブラインドし、それらをコミュニティにグループ化し、そのようなコミュニティの1つを非難することで、モデル内のコピーを破壊する。 アプリケーション2では、全てのヘッドの結合係数をプールすることで、Pythia-6.9Bまでの6つのモデルでの誘導能力を廃止する2次元ストリーム部分空間が識別される。 この部分空間は、アクティベーションPCAまたは外れ値次元によって識別されるものと異なる。 地図、統計機械、介入スイートを公開します。

関連論文リスト

• Can Graph Learning Learn Circuits? [4.052788483966698]
  グラフ機械学習問題として回路ローカライゼーションの枠組みを定めている。 グラフ回路学習(GCL)は,複数のモデルペアにまたがってGNNをトレーニングし,未知のケースに適用するフレームワークである。 予備的な結果は、グラフ機械学習が回路ローカライゼーションに自然かつ潜在的に強力な視点をもたらすことを示唆している。
  論文  参考訳（メタデータ） (2026-08-09T07:14:13Z)
• Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian [0.0]
  再建された信号は、すでに注目ヘッドの小さなサブセットに集中していることを示す。 CAMEOスプリットでは、選択も評価データモデルも、暗黙的に記憶されていない。 いずれの手法も、散布前のZhang数からリーククリーン数へ30～36ポイント減少し、事前学習前のかなりの重複と一致している。
  論文  参考訳（メタデータ） (2026-06-20T04:35:51Z)
• iSAGE: A Human-in-the-Loop Framework for Remote Sensing Semantic Segmentation via Sparse Point Supervision [0.1749935196721634]
  既存のHuman-in-the-loopフレームワークは、余分なクリックを補助機械を介して密集した監視に拡張する。 本稿では, 任意の画素ではなく, 信頼度の高いモデル誤差をターゲットとした, 専門家によるクリックが, 厳密な監督と一致させるのに十分である,という仮説を立てる。 iSAGEは補助機械を使わずに動作する唯一の反復型人間-イン-ザ-ループフレームワークである。
  論文  参考訳（メタデータ） (2026-06-08T20:09:35Z)
• Torus Graphs for Large Scale Neural Phase Analysis [1.4018975578160686]
  数千の変数を持つデータセットの推論を可能にするために,レート毎のコストを$mathcalO(d2)$に削減するスコアマッチング手順を導入する。 このスケーラブルな基盤は、マルチ電極LFPからの1,860の周波数位相の特徴の分析をサポートし、TGや古典的な円形統計に以前はアクセスできない2つの拡張を可能にする。
  論文  参考訳（メタデータ） (2026-05-30T02:56:56Z)
• Striding Across Reynolds Numbers: Representation Geometry in Neural PDE Generalisation [0.5451632647096261]
  ニューラルPDE解法におけるクロスレイノルズ一般化は、いまだにあまり特徴づけられていない。 我々は、この仮説を、ソーストレーニングされた畳み込みオートエンコーダ潜在空間の状態と一致するConvAE-Relayを通して検証する。 実験では、整合がマニフォールド上に留まっている場合、ソース・レジームのダイナミックス方向が転送可能である(コサイン類似度0.84)ことが確認された。
  論文  参考訳（メタデータ） (2026-05-28T15:49:26Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning [60.650808962786364]
  我々は、CoTスライス間の疎活性化キージャカード類似性に対して、相互kNNによって構築された問題モデル-セルグラフであるSliceGraphを提案する。 同じ正規化された回答を共有する正しいCoTは、複数のプロセスファミリに分割されていることを示す。 また、プロセスファミリは、一致したnull制御の下で異なる遷移カーネルで同じアトラスをナビゲートすることを示す。
  論文  参考訳（メタデータ） (2026-05-14T09:37:26Z)
• Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
  視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。 本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。 Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-04T01:51:53Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• lo-fi: distributed fine-tuning without communication [61.87390899015787]
  完全局所微調整をlo-fiと呼ぶ。 lo-fiの間、各ノードは通信なしで独立に微調整される。 通信要求を取り除くことで、lo-fiは大規模モデルの微調整のためのリソースバリアを低減する。
  論文  参考訳（メタデータ） (2022-10-19T20:15:18Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks [57.64866581615309]
  完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。 その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
  論文  参考訳（メタデータ） (2020-06-19T15:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。