論文の概要: Interactions Between Crosscoder Features: A Compact Proofs Perspective

• arxiv url: http://arxiv.org/abs/2606.09940v1
• Date: Mon, 08 Jun 2026 00:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.071277
• Title: Interactions Between Crosscoder Features: A Compact Proofs Perspective
• Title（参考訳）: クロスコーダの機能間の相互作用: コンパクトな証明
• Authors: Dmitry Manning-Coe, Thomas Read, Anna Soligo, Oliver Clive-Griffin, Chun-Hei Yip, Rajashree Agrawal, Jason Gross,
• Abstract要約: モデル性能のコンパクトな証明をクロスコーダを用いて構築する方法を示す。 この証明で生じる誤り項は、クロスコーダの特徴間の相互作用の尺度として自然に解釈できることを示す。 次に、相互作用尺度によるクラスタリングが意味論的に意味のある特徴クラスタを提供することを示す。
• 参考スコア（独自算出の注目度）: 2.8682099615858156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dictionary learning methods like Sparse Autoencoders (SAEs) and crosscoders attempt to explain a model by decomposing its activations into independent features. Interactions between features hence induce errors in the reconstruction. We formalize this intuition via compact proofs and make five contributions. First, we show how, \textit{in principle}, a compact proof of model performance can be constructed using a crosscoder. Second, we show that an error term arising in this proof can naturally be interpreted as a measure of interaction between crosscoder features and provide an explicit expression for the interaction term in the Multi-Layer Perceptron (MLP) layers. We then provide three applications of this new interaction measure. In our third contribution we show that the interaction term itself can be used as a differentiable loss penalty. Applying this penalty, we can achieve ``computationally sparse'' crosscoders that retain $60\%$ of MLP performance when only keeping a single feature at each datapoint and neuron, compared to $10\%$ in standard crosscoders. We then show that clustering according to our interaction measure provides semantically meaningful feature clusters, and finally that sleeper agents have significant interactions. Code is available at https://github.com/chainik1125/crosscoders-feature-interactions/tree/arxiv.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)やクロスコーダのような辞書学習手法は、アクティベーションを独立した機能に分解することでモデルを説明しようとする。 特徴間の相互作用は、再構成においてエラーを引き起こす。 この直観をコンパクトな証明によって形式化し、5つの貢献をする。 まず,クロスコーダを用いてモデル性能のコンパクトな証明を構築する方法を示す。 第二に、この証明で生じる誤り項は、クロスコーダの特徴間の相互作用の尺度として自然に解釈でき、マルチ層パーセプトロン(MLP)層における相互作用項の明示的な表現を提供する。 次に、この新しい相互作用測度を3つの応用に適用する。 第3のコントリビューションでは、相互作用項自体が識別可能な損失ペナルティとして使用できることを示す。 このペナルティを適用して、各データポイントとニューロンに1つの機能しか保持していない場合、60 %の MLP 性能を保持する ``computationally sparse'' クロスコーダを、標準のクロスコーダでは 10 % であるのに対し、'`computationally sparse'' クロスコーダを達成できます。 次に、相互作用尺度によるクラスタリングが意味論的に意味のある特徴クラスタを提供し、最後に、スリーパーエージェントが重要な相互作用を持つことを示す。 コードはhttps://github.com/chainik1125/crosscoders-feature-interactions/tree/arxivで公開されている。

関連論文リスト

• Decomposing Query-Key Feature Interactions Using Contrastive Covariances [75.38737409771085]
  クエリとキー間の双方向のジョイント埋め込み空間であるクエリキー空間について検討する。 キーとクエリの機能がこれらの低ランクのサブスペースに整列して、高い注目スコアが生成されるときです。
  論文  参考訳（メタデータ） (2026-02-04T16:50:02Z)
• Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
  我々はデコーダ行列をほぼ直交的な特徴に分解する。 これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。 私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
  論文  参考訳（メタデータ） (2026-02-04T16:29:14Z)
• Automated Circuit Interpretation via Probe Prompting [0.0]
  本稿では、帰属グラフをコンパクトで解釈可能な部分グラフに変換する自動パイプラインであるプローブプロンプトを提案する。 5つのプロンプトにまたがって、プローブプロンプトされたサブグラフは、複雑さを圧縮しながら高い説明的カバレッジを保っている。 幾何学的クラスタリングベースラインと比較すると、概念整列群はより高い行動コヒーレンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T11:53:36Z)
• Explaining Caption-Image Interactions in CLIP Models with Second-Order Attributions [28.53636082915161]
  Clipモデルのようなデュアルエンコーダアーキテクチャは、2種類の入力を共有埋め込み空間にマッピングし、それらの類似性を予測する。 一般的な一階特徴帰属法は個々の特徴の重要性を説明できるため、デュアルエンコーダに対する限られた洞察しか提供できない。 まず、各入力間の特徴-相互作用に対して、任意の微分可能なデュアルエンコーダによる予測の帰属を可能にする2階法を導出する。
  論文  参考訳（メタデータ） (2024-08-26T09:55:34Z)
• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Human-Object Interaction Detection via Disentangled Transformer [63.46358684341105]
  本稿では,2つのサブタスクの学習を容易にするために,エンコーダとデコーダの両方をアンタングル化するDisentangled Transformerを提案する。 提案手法は,2つの公開HOIベンチマークにおいて,従来よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2022-04-20T08:15:04Z)
• GEN-VLKT: Simplify Association and Enhance Interaction Understanding for HOI Detection [17.92210977820113]
  本稿では,2分岐パイプラインをポストマッチングなしで実現するためのガイド埋め込みネットワーク(GEN)を提案する。 協会にとって、以前の2枝の手法は複雑でコストのかかるポストマッチングに悩まされる。 相互作用理解のために、従来の手法は長い尾の分布とゼロショット発見に悩まされていた。
  論文  参考訳（メタデータ） (2022-03-26T01:04:13Z)
• Disentangled Representation Learning for Text-Video Retrieval [51.861423831566626]
  テキスト・ビデオ検索(TVR)における相互モダリティの相互作用 我々は相互作用のパラダイムを深く研究し、その計算を2つの項に分けることができることを示した。 本稿では,逐次的かつ階層的な表現を捉えるための非絡み合いフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-14T13:55:33Z)
• BasConv: Aggregating Heterogeneous Interactions for Basket Recommendation with Graph Convolutional Neural Network [64.73281115977576]
  バスケット内のレコメンデーションは、ユーザのバスケットに対する意図が重要となるユーザの探索時間を短縮する。 グラフ畳み込みニューラルネットワークに基づく textbfBasConv という新しいフレームワークを提案する。 私たちのBasConvモデルには、3種類のノード用に特別に設計された3種類のアグリゲータがあります。
  論文  参考訳（メタデータ） (2020-01-14T16:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。