論文の概要: Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses

• arxiv url: http://arxiv.org/abs/2609.09902v1
• Date: Wed, 09 Sep 2026 09:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.959722
• Title: Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses
• Title（参考訳）: 対物投影:対物レンズによる変圧器内部の読み出し
• Abstract要約: トレーニング不要のトレーサを使用して、すべての位置、サブレイヤ、ヘッド平均を読みます。 Phi-2の化合物-名詞->アテンション鎖を辿り、活性化パッチによって確認される。 現実と架空のエンティティの検索サーフェスを読み、ドメイン間マッピングの集合としてメタファーを読みます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reading a transformer's internal states in token space is easy to do and hard to trust: a logit lens on a single hidden state is dominated, at intermediate layers, by the generic tokens the model would predict for almost any input. We read the difference instead. Subtracting two closely matched prompts' hidden states and projecting through the unembedding cancels the shared component and surfaces what separates them, an operation equivalent to reading a RepE/ActAdd steering vector through a logit lens. Built into a training-free tracer that reads at every position, sub-layer, and head and averages over designed baselines, it traces a compound- noun MLP->attention chain in Phi-2, confirmed there by activation patching, with the same distinction recovered across three architectures by readout and probe rather than by patching; it reads what retrieval surfaces for real versus fictional entities, and reads metaphor as a set of domain-to-domain mappings rather than a single figurativity feature. A cross-seed control marks the boundary: across five networks differing only in initialization, the same distinction surfaces as almost entirely different tokens (top-10 overlap 0.08). What a computation looks like in token space is network-specific; the distinction it draws is not
• Abstract（参考訳）: トークン空間でトランスフォーマーの内部状態を読むのは簡単で、信頼しにくい:単一の隠れ状態にあるロジットレンズは、中間層において、ほぼ任意の入力に対してモデルが予測する一般的なトークンによって支配される。 私たちは代わりにその違いを読みました。 密にマッチした2つのプロンプトの隠された状態を抽出し、アンエンベディングを通して投影すると、共有コンポーネントがキャンセルされ、それを分離するものが表面化され、ロジットレンズを介してRepE/ActAddステアリングベクターを読み取る操作に相当する。 トレーニングフリートレーサに組み込まれており、すべての位置、サブレイヤ、ヘッドおよび平均を設計ベースライン上で読み取り、Phi-2の複合名詞MLP->アテンションチェーンをトレースし、アクティベーションパッチによって確認し、パッチではなく3つのアーキテクチャで読み出しとプローブによって同じ区別を回復し、実際のエンティティとフィクションエンティティの検索サーフェスを読み、単一の図形化機能ではなくドメイン間マッピングのセットとしてメタファを読み込む。 クロスシード制御は、初期化においてのみ異なる5つのネットワークにまたがって、ほぼ完全に異なるトークン(トップ10オーバーラップ0.08)と同一の区別面を持つ。 トークン空間における計算がどのようなものかはネットワーク特化している。

関連論文リスト

• Sparse Readout Prism: Explaining Logit-Lens Scores in Features Instead of Tokens [11.948805377284694]
  レンズ読み取りは、隠された状態と復号に使用される読み出しの両方を反映する。 本稿では,Sparse Readout Prism(SRP)について紹介する。 SRPは、レンズ読み取りのための新しい分析単位として、読み出し機能を明らかにしている。
  論文  参考訳（メタデータ） (2026-09-01T23:01:56Z)
• Metaphor Tracer: A Theory-Informed Analysis of Hidden States [0.0]
  1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。 aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。 differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
  論文  参考訳（メタデータ） (2026-07-30T16:12:13Z)
• Controlling Embedding Spaces with Text-Conditioned Transformations [54.94594915955756]
  属性を明示的にアクセス可能にする視覚埋め込みのテキスト条件変換を提案する。 テキストの条件付けにより、多くの属性を同時に学習し、直感的なインターフェースを通じて推論時にそれらにアクセスすることができる。
  論文  参考訳（メタデータ） (2026-07-24T21:14:29Z)
• TokenCLIP: Token-wise Prompt Learning for Zero-shot Anomaly Detection [62.95726973851089]
  TokenCLIPは、異常学習のためのトークンワイド適応フレームワークである。 視覚的なテキスト空間と学習可能なテキスト空間の動的アライメントを可能にし、微粒な異常学習を実現する。
  論文  参考訳（メタデータ） (2025-10-24T05:51:31Z)
• TCFormer: Visual Recognition via Token Clustering Transformer [79.24723479088097]
  本稿では,意味に基づく動的視覚トークンを生成するToken Clustering Transformer (TCFormer)を提案する。 ダイナミックトークンには2つの重要な特徴がある:(1)同じ視覚トークンを用いて類似の意味を持つ画像領域を表現し、(2)それらの領域が隣接していない場合でも、(2)貴重な詳細を持つ領域に集中し、細かなトークンを用いてそれらを表現する。
  論文  参考訳（メタデータ） (2024-07-16T02:26:18Z)
• SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
  ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:30:45Z)
• Cross-domain Detection Transformer based on Spatial-aware and Semantic-aware Token Alignment [31.759205815348658]
  クロスドメイン検出変換器のための空間認識および意味認識トークンアライメント(SSTA)と呼ばれる新しい手法を提案する。 空間認識型トークンアライメントでは、クロスアテンションマップ(CAM)から情報を抽出して、トークンの分布をオブジェクトクエリへの注目に応じて調整することができる。 意味認識型トークンアライメントでは、カテゴリ情報をクロスアテンションマップに注入し、ドメイン埋め込みを構築し、マルチクラスの識別器の学習をガイドする。
  論文  参考訳（メタデータ） (2022-06-01T04:13:22Z)
• Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
  我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。 この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。 これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
  論文  参考訳（メタデータ） (2021-12-27T14:05:41Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
  トランスアーキテクチャにおけるアライメント方式を初めて導入する。 本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。 AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
  論文  参考訳（メタデータ） (2021-04-02T08:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。