論文の概要: The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

• arxiv url: http://arxiv.org/abs/2605.24856v1
• Date: Sun, 24 May 2026 04:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.479719
• Title: The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth
• Title（参考訳）: コンセプションアロケーションゾーン:コンセプションがトランスフォーマーの奥行きにどのように形成されるかを追跡する
• Authors: James Henry,
• Abstract要約: 本稿では,概念の分離可能な深さ区間である概念割当ゾーン(CAZ)を紹介する。 1つの概念は典型的には複数のCAZに参加し、複数の概念は1つの概念を共有する。 34モデルにわたる経験的検証は、分離曲線 S(l) が頻繁に多重モーダルであることを明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept formation in transformer language models is depth-extended, not a single-layer event: concepts emerge gradually across a contiguous region of the residual stream. Mechanistic interpretability methods identify the single layer of peak class separation -- the "best layer" -- capturing a snapshot rather than the process itself. We introduce the Concept Allocation Zone (CAZ): the depth interval within which a concept becomes measurably separable, the region allocated to its geometric expression. We formalize the CAZ through three layer-wise metrics (Separation, Concept Coherence, Concept Velocity) and derive principled boundary detection without manual layer sweeps. A CAZ is not a concept: it is the depth region within which the model organizes its geometry to make a concept separable. A single concept typically participates in multiple CAZes; multiple concepts may share one. Empirical validation across 34 models from 8 architectural families and 7 concepts reveals that the separation curve S(l) is frequently multimodal. A scored detector uncovers "gentle CAZes" -- subtle allocation regions invisible to standard peak detection but causally active in 93-100% of cases under ablation (16 of 34 models; 26 in the companion validation paper). The framework generates seven testable predictions; four yield clear verdicts (two not supported, one partially supported, one supported), one had its precondition invalidated by the data, and two are underpowered -- with cross-architecture alignment confirmed as depth-matched rather than monolithic under leave-one-concept-out cross-validation. Reference implementation: rosetta_tools v1.3.1 (doi:10.5281/zenodo.20361433).
• Abstract（参考訳）: 変圧器言語モデルにおける概念形成は、一層イベントではなく、奥行き拡張(deep-extended)である: 概念は残留ストリームの連続した領域に徐々に出現する。 メカニスティックな解釈可能性メソッドは、プロセス自体ではなくスナップショットをキャプチャする、ピーククラスの分離("最高の層")の単一レイヤを識別する。 本稿では,概念割当区間(CAZ: Concept Allocation Zone)について紹介する。 我々はCAZを3つのレイヤワイドメトリクス(分離、概念コヒーレンス、概念速度)で形式化し、手動のレイヤスイープを使わずに境界検出の原理を導出する。 CAZは概念ではなく、モデルがその幾何学を整理して概念を分離可能にする奥行き領域である。 1つの概念は典型的には複数のCAZに参加し、複数の概念は1つの概念を共有する。 8つの建築系と7つの概念の34モデルにわたる経験的検証は、分離曲線 S(l) が頻繁に多重モーダルであることを明らかにする。 得られた検出器は、標準ピーク検出には見えない微妙なアロケーション領域を発見できるが、アブレーション中の93～100%のケースで因果的にアクティブである(34モデル中16モデル、共用検証用紙中26モデル)。 フレームワークは7つのテスト可能な予測を生成する。4つの明確な判断(2つはサポートされていないが、1つはサポートされていない)、1つはデータによって事前条件が無効にされ、2つは非力である。 リファレンス実装: rosetta_tools v1.3.1 (doi:10.5281/zenodo.20361433)

関連論文リスト

• ConceptSeg-R1: Segment Any Concept via Meta-Reinforcement Learning [134.61875033137514]
  プロンプト可能なセグメンテーションの最近の進歩は、視覚知覚をオブジェクトレベルのローカライゼーションから概念レベルの理解へとシフトさせてきた。 我々は文脈非依存(CI)、文脈依存(CD)、文脈推論(CR)の概念からなる3段階の分類によって概念セグメンテーションを定式化する。 本稿では,概念セグメンテーションをルール誘発概念基盤として再構成する統合フレームワークであるConceptSeg-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-19T18:35:38Z)
• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• How to Blend Concepts in Diffusion Models [48.68800153838679]
  近年の手法は複数の潜在表現とその関連性を利用しており、この研究はさらに絡み合っている。 我々のゴールは、潜在空間における操作が根底にある概念にどのように影響するかを理解することです。 我々の結論は、宇宙操作によるブレンドの概念は可能であるが、最良の戦略はブレンドの文脈に依存する。
  論文  参考訳（メタデータ） (2024-07-19T13:05:57Z)
• Local Concept Embeddings for Analysis of Concept Distributions in Vision DNN Feature Spaces [1.0923877073891446]
  学習した潜伏表現に対する洞察は、コンピュータビジョンタスクのディープニューラルネットワーク(DNN)を検証する上で不可欠である。 本稿では,学習した概念分布の探索を可能にする新しいローカル概念分析フレームワークを提案する。 文脈感度にもかかわらず,提案手法のセグメンテーション性能はグローバルベースラインと競合する。
  論文  参考訳（メタデータ） (2023-11-24T12:22:00Z)
• Concept Activation Regions: A Generalized Framework For Concept-Based Explanations [95.94432031144716]
  既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。 そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。 この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
  論文  参考訳（メタデータ） (2022-09-22T17:59:03Z)
• Sparse Subspace Clustering for Concept Discovery (SSCCD) [1.7319807100654885]
  概念は高いレベルの人間の理解の鍵となる構成要素である。 局所帰属法では、サンプル間のコヒーレントモデル挙動を特定できない。 隠れた特徴層の低次元部分空間として、新しい概念の定義を提唱した。
  論文  参考訳（メタデータ） (2022-03-11T16:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。