論文の概要: ChaosProbe: A Neurochaotic Lens on Frozen Transformer Input-Embedding Spaces
- arxiv url: http://arxiv.org/abs/2608.01968v1
- Date: Mon, 03 Aug 2026 09:35:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.471242
- Title: ChaosProbe: A Neurochaotic Lens on Frozen Transformer Input-Embedding Spaces
- Title（参考訳）: ChaosProbe: 冷凍トランスフォーマー入力空間上の神経カオスレンズ
- Abstract要約: EmphChaosProbeは,凍結トランスフォーマー入力埋め込み空間の応答型指紋を構築するための決定論的ニューロカオスに着想を得た手法である。
各プロンプトレベルの埋め込み行列に対して、ChaosProbeはカオスな軌道ベースの変換を適用し、そのフィリングレートとエントロピーチャネル応答を要約する。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer models are most often understood through what they do: their benchmark performance, generation quality, or behavior on downstream tasks. Yet frozen transformer input-embedding spaces may also be examined through their responses to a controlled deterministic probe before contextual computation or task-specific adaptation. Guided by this response-based view, we introduce \emph{ChaosProbe}, a deterministic neurochaos-inspired method for constructing response-based fingerprints of frozen transformer input-embedding spaces. For each prompt-level embedding matrix, ChaosProbe applies a chaotic trajectory-based transformation and summarizes its Firing Rate and Entropy channel responses with complementary representation-level measures, producing a fixed-length signature for each model. In a bounded proof-of-concept study of $80$ neutral prompts and four pretrained models---GPT-2, DistilGPT2, BERT-base-uncased, and RoBERTa-base---Pearson correlation, Spearman correlation, and cosine similarity each recover all four same-family nearest-neighbor assignments and both expected mutual family pairs. Euclidean distance recovers three of the four assignments and one of the two mutual family pairs. Paired bootstrap resampling supports the stability of the Pearson and Spearman pairings over the observed prompt set, and signature-validity checks show that constant or collapsed responses do not dominate the reported fingerprints. These results provide a cohort-dependent proof of concept that deterministic neurochaotic response signatures can expose broad structure among frozen transformer input-embedding spaces.
- Abstract（参考訳）: トランスフォーマーモデルは、そのベンチマークパフォーマンス、生成品質、下流タスクの振る舞いなど、最もよく理解されています。
しかし、凍結したトランスフォーマー入力埋め込み空間は、文脈計算やタスク固有の適応の前に制御された決定論的プローブへの応答を通して調べることができる。
この応答に基づく視点から,凍結トランスフォーマー入力埋め込み空間の応答型指紋を構築するための決定論的ニューロカオスに着想を得た方法である \emph{ChaosProbe} を紹介した。
各プロンプトレベルの埋め込み行列に対して、ChaosProbeはカオス軌跡に基づく変換を適用し、そのフィリングレートとエントロピーチャネル応答を相補的な表現レベル尺度で要約し、各モデルに対して固定長シグネチャを生成する。
80ドルの中立的プロンプトと4つの事前訓練されたモデル(-GPT-2, DistilGPT2, BERT-base-uncased, RoBERTa-base--Pearson correlation, Spearman correlation, and cosine similarity)のバウンド・オブ・コンセプションでは、それぞれが4つの同居の近辺配置と双方の期待される相互家族ペアを回収する。
ユークリッド距離は4つの割り当てのうち3つと2つの相互ファミリーペアのうちの1つを回復する。
Paired bootstrap resamplingは、観測されたプロンプトセット上のピアソンとスピアーマンのペアリングの安定性をサポートし、シグネチャ・バリダリティチェックは、一定の応答が報告された指紋を支配していないことを示す。
これらの結果は、決定論的神経カオス応答シグネチャが凍結トランスフォーマー入力埋め込み空間の広い構造を明らかにすることができるというコホート依存的な概念の証明を提供する。
関連論文リスト
- Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。
既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。
動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T09:57:46Z) - Coordinate Heterogeneity Governs Binary Quantization: From InfoNCE to Recall [0.0]
バイナリ量子化(BQ)は1座標あたり1ビットまたは2ビットに高次元の埋め込みを圧縮し、近接探索を極速で行えるようにする。
BQは対照的な埋め込みにおいて競合するリコールを達成しますが、他では失敗します。
我々は、InfoNCEで訓練された表現のために最近確立されたガウス構造を、BQ品質のための完全な分析フレームワークに接続することで、この問題を解決する。
論文 参考訳（メタデータ） (2026-05-17T16:15:21Z) - Conditioning Protein Generation via Hopfield Pattern Multiplicity [0.0]
幾何学的注意によるタンパク質配列生成は、トレーニングなしで小さなアライメントから可塑性ファミリーを生産する。
サンプルの注意ログにバイアスとして付加された1つのスカラーパラメータが、フルファミリーからユーザ特定サブセットへ連続的に生成することを示す。
5種のPfam族に対する実験により,4つの領域にわたる分離とギャップのモノトニックな関係が確認された。
論文 参考訳（メタデータ） (2026-03-20T16:38:15Z) - In-Context Symbolic Regression for Robustness-Improved Kolmogorov-Arnold Networks [3.7163623763519733]
シンボリック回帰は、ブラックボックス予測器を機械学習で検査および検証可能な分析式に置き換えることを目的としている。
Kolmogorov-Arnold Pursuit Networks (KANs) はこの目的に適している。
しかし、実際には記号抽出はボトルネックであり、標準のkan-to-symbolアプローチは各学習エッジ関数に微妙な分離で適合する。
論文 参考訳（メタデータ） (2026-03-16T13:21:26Z) - The Geometric Inductive Bias of Grokking: Bypassing Phase Transitions via Architectural Topology [0.0]
巡回加法(Zp)を訓練した変圧器のグルーキング-遅れ一般化に関する研究
標準変圧器における2つの独立した構造因子:表現の大きさとデータ依存型アテンションルーティングを同定する。
論文 参考訳（メタデータ） (2026-03-05T14:41:01Z) - On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation [8.973965016201822]
ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。
トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアが不安定になる2つの失敗モードの1つにつながる可能性がある。
ここでは、自己アテンション、層正規化、スキップ接続、勾配を有する深層変圧器による信号伝搬の解析理論を提案する。
論文 参考訳（メタデータ） (2025-05-30T08:18:23Z) - Towards Robust and Realistic Human Pose Estimation via WiFi Signals [85.60557095666934]
WiFiベースの人間のポーズ推定は、離散的で微妙なWiFi信号を人間の骨格にブリッジする難しいタスクである。
本論文は,本問題を再検討し,(1)ドメイン間ギャップ,(2)ソース・ターゲット領域のポーズ分布の顕著な変化,(2)骨格のポーズが歪んだトポロジーを示す構造的フィデリティギャップ,の2つの重要な問題を明らかにする。
本稿では,タスクをDT-Poseと呼ばれる新しい2段階のフレームワークに書き換えることで,これらのギャップを埋める:ドメイン一貫性表現学習とトポロジ制約ポスデコーディング。
論文 参考訳（メタデータ） (2025-01-16T09:38:22Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳（メタデータ） (2023-01-19T18:39:48Z) - A Computational Framework of Cortical Microcircuits Approximates
Sign-concordant Random Backpropagation [7.601127912271984]
本稿では,新しいマイクロ回路アーキテクチャとヘビアン学習規則の支持からなる仮説的枠組みを提案する。
我々は, 局所的な区画内でのヘビアン則を用いて, シナプス重みを更新し, 生物学的に妥当な方法で教師あり学習を実現する。
提案するフレームワークは、MNISTやCIFAR10などいくつかのデータセットでベンチマークされ、BP互換の有望な精度を示す。
論文 参考訳（メタデータ） (2022-05-15T14:22:03Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。