論文の概要: TranScope: What the Software Hides About LLM Training Data, the Hardware Reveals at Scale, and Accelerators Magnify
- arxiv url: http://arxiv.org/abs/2610.06848v1
- Date: Mon, 05 Oct 2026 17:59:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 22:06:35.509299
- Title: TranScope: What the Software Hides About LLM Training Data, the Hardware Reveals at Scale, and Accelerators Magnify
- Title（参考訳）: TranScope: LLMトレーニングデータ,大規模ハードウェア開発,アクセラレータのスケールアップに関するソフトウェアが秘めているもの
- Abstract要約: メンバシップは、マシンラーニングの根本的プライバシプリミティブである。
ブラックボックスモデルに対するハードウェアベースのアウト・オブ・ディストリビューション検出は行われていない。
会員情報を検出するための最初のマイクロアーキテクチャツールであるTranScopeを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Membership is the root privacy primitive in machine learning: to date, no hardware-based out-of-distribution detection on black-box models has been demonstrated against constant-time, static neural networks with masked confidence. This paper performs the first cycle-level examination of how large language models and vision transformers interact with various modern microarchitecture components, including integrated accelerators, as LLMs scale in size and answers the question of whether the data that a model was trained on affects its execution footprint even without any input-dependent branch, dynamic optimization, or early exit and in constant-time models. The results confirm that the answer is yes and identify which modern hardware components, such as TLBs or on-core accelerators, reveal or amplify that effect. The results also answer whether the signal is informative enough to reliably classify the in-/vs/out-of-distribution property of membership. To understand why, we perform a systematic root cause analysis and find that the transformer's tokenization steps, which happen during training, alter the locality of the accesses the model makes to fetch the vocabulary token later during inference and, as a result, change the page table access patterns and TLB in a previously unknown data-dependent way, causing microarchitectural state to vary significantly based on whether or not the input was in the distribution of the transformer training data. Building on the above observation, we introduce TranScope: the first microarchitecture tool for detecting membership information with low cost, no need for a surrogate model, and significantly higher robustness, e.g., 0.6 AUC for PETAL (best previously reported) vs 0.9 AUC (ours). This reintroduces hardware as both an opportunity, e.g., a tool for checking copyright violation for the first time, and a new channel for inferring membership (MIA).
- Abstract（参考訳）: これまで、ブラックボックスモデルに対するハードウェアベースのアウト・オブ・ディストリビューション検出は、マスクされた信頼性を持つ定時静的ニューラルネットワークに対して実証されていない。
本稿では,LLMが規模を拡大し,モデルがトレーニングしたデータが,入力依存分岐や動的最適化,早期終了や一定時間モデルなしでも,実行フットプリントに影響を及ぼすかどうかという疑問に答えるため,大型言語モデルと視覚変換器が,統合的加速器を含む様々な現代マイクロアーキテクチャコンポーネントとどのように相互作用するかを,最初のサイクルレベルで検討する。
結果は、答えがイエスであることを確認し、TLBやオンコアアクセラレータのようなモダンなハードウェアコンポーネントが、その効果を明らかにしたり増幅したりするかを特定する。
結果はまた、シグナルがメンバーシップのin/vs/out-of-distribution特性を確実に分類するのに十分な情報であるかどうかにも答える。
学習中に発生するトランスフォーマーのトークン化ステップが、推論中に後続の語彙トークンを取得するように、モデルの局所性を変更し、その結果、以前にも知られていなかったデータ依存の方法でページテーブルアクセスパターンとTLBを変更することにより、マイクロアーキテクチャー状態がトランスフォーマートレーニングデータの配信中であるか否かに応じて、大きく変化する。
以上の結果に基づいてTranScopeを紹介した。TranScopeは、低コストで会員情報を検出するための最初のマイクロアーキテクチャツールであり、サロゲートモデルを必要としない。
これにより、ハードウェアを機会として再導入する。例えば、著作権侵害を初めてチェックするためのツールと、加入を推論するための新しいチャネル(MIA)である。
関連論文リスト
- Pretraining Latent Information Feedback Transformers with Teacher Supervision [25.353789004521946]
本稿では、LIFT(Latent Information Feedback Transformer)アーキテクチャとトレーニング手法を紹介する。
そこで我々は,リカレント・ステート・ラーニングを教師による予測問題に転換し,これを実現した。
135Mから1Bパラメータの事前訓練モデルによる実験は、LIFTが標準トランスフォーマーより一貫して優れていることを示している。
論文 参考訳（メタデータ） (2026-09-29T17:57:40Z) - GIF: Locally Sound Geometric Information Flow Control for LLMs [12.598128612710523]
大規模言語モデルは、エージェントシステムにおけるセンシティブなデータ、信頼できない入力、特権的なアクション間の相互作用を仲介する。
近年のインフォメーションフロー制御(IFC)ベースのディフェンスは、モデル自体を通しての情報フローを推論するための原則的なセマンティック基盤を欠いている。
本稿では,入力トークンから出力への情報フローを追跡するセマンティックフレームワークであるGeometric Information Flow (GIF)を提案する。
論文 参考訳（メタデータ） (2026-06-22T12:54:04Z) - ROSE: Retrieval-Oriented Segmentation Enhancement [79.7370065070812]
既存のマルチモーダル大言語モデル(MLLM)に基づくセグメンテーションモデルは、最新の知識を組み込むことができないため、しばしば新しいまたは新しいエンティティと競合する。
本論文では,学習データがないためMLLMが認識できない新規なエンティティのセグメンテーションと,モデルの知識の中に存在するが,正確な認識のために最新の情報を要求する新興エンティティのセグメンテーションに焦点を当てた,NEST(Novel Emerging Task)を紹介した。
Rose: Retrieval-Oriented Enhancementは、MLLMベースのセグメンテーションモデルを拡張するために設計されたプラグインとプレイのフレームワークです。
論文 参考訳（メタデータ） (2026-04-15T17:59:35Z) - Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。
本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。
複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
論文 参考訳（メタデータ） (2026-03-03T14:25:02Z) - Bottleneck Transformer-Based Approach for Improved Automatic STOI Score Prediction [16.426476430697587]
本稿では,ボトルネックトランスフォーマアーキテクチャを用いて,STOI(Short-Time Objective Intelligibility)メトリクスを予測する新しい手法を提案する。
両シナリオの相関性は高く,平均2乗誤差は低かった。
論文 参考訳（メタデータ） (2026-02-17T10:46:54Z) - Automatic Speech Recognition in the Modern Era: Architectures, Training, and Evaluation [0.0]
音声認識は、ディープラーニングの進歩によって、過去10年間に大きく変化してきた。
この調査は、従来のハイブリッドシステムから、現在支配的なエンドツーエンドのニューラルアーキテクチャへの進化をグラフ化して、ASRの現代を包括的に概観する。
論文 参考訳（メタデータ） (2025-10-11T05:38:45Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - SIM-Trans: Structure Information Modeling Transformer for Fine-grained
Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。
提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。
実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文 参考訳（メタデータ） (2022-08-31T03:00:07Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳（メタデータ） (2021-11-23T18:59:08Z) - Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。
そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。
提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文 参考訳（メタデータ） (2021-03-30T16:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。