論文の概要: Probe Generalization as Subspace Selection for OOD Deception Detection

• arxiv url: http://arxiv.org/abs/2609.02893v1
• Date: Wed, 01 Jul 2026 08:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.447883
• Title: Probe Generalization as Subspace Selection for OOD Deception Detection
• Title（参考訳）: OOD誤認検出のための部分空間選択としてのプローブ一般化
• Abstract要約: Llama-3.1-8B-Instruct probeの3つのホールドアウト誤り検出データセット上での一般化性能について検討した。 アクティベーションのトレーニング分布から,サブセットの主成分(PC)に入力を投影することで,ドメイン間転送が可能となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear probes can be used to detect behaviors and concepts inside language model activations, but may fail to transfer to out-of-distribution examples. When studying the generalization performance of Llama-3.1-8B-Instruct probes over 3 held-out deception detection datasets, we find that projecting inputs onto a small subset of principal components (PCs) from the training distribution of activations enables cross-domain transfer that nearly matches the performance of probes trained directly on the test distribution. Furthermore, we find that PC interpretations can be used to find a subset of those transferable PCs. By using an LLM judge to score each PC on whether its most/ least activating examples imply a transferable deception direction, then probing on the highest-scoring PCs, we close the baseline-to-oracle gap by 78% on Insider Trading Report and by 25% on Sandbagging. The directions a source probe weights heavily appear to encode source-specific surface features, while the directions that actually transfer appear to encode the same contrast more abstractly, in a way natural language descriptions can capture. Broadly, our results suggest that the OOD robustness of probes is largely determined by subspace selection.
• Abstract（参考訳）: 線形プローブは言語モデルのアクティベーション内での振る舞いや概念を検出するのに使用できるが、配布外例への転送に失敗する可能性がある。 Llama-3.1-8B-Instruct probes on 3 held-out deception detection datasets, we found that projecting inputs on a small subset of principal components (PCs) from the training distribution of activations is possible to cross-domain transfer that almost between the performance of probes based on the test distribution。 さらに, PCの解釈を用いて, 転送可能なPCのサブセットを見つけることができる。 LLM判定器を用いて、最も活動的な例が転送可能な詐欺方向を意味するか否かを各PCに判定し、最上位のPCで探索することにより、インサイダートレーディングレポートでは78%、サンドバッギングでは25%の基準線間ギャップを閉じる。 ソースプローブが重み付けしている方向は、ソース固有の表面の特徴をコード化しているように見え、実際に転送される方向は、自然言語の記述がキャプチャできる方法で、より抽象的に同じコントラストをコード化しているように見える。 この結果から, プローブのOODロバスト性は部分空間選択によって決定されていることが示唆された。

関連論文リスト

• Sparse Autoencoders for Interpretable Out-of-Distribution Detection [5.034534322537894]
  本稿では,スパースオートエンコーダ(SAE)を利用して,中間活性化から解釈可能な特徴を学習する手法を提案する。 テストサンプルのスパース特徴活性化とIDクラスの平均活性化のコサイン類似性から得られた新しいOODスコアを提案する。
  論文  参考訳（メタデータ） (2026-07-13T19:13:40Z)
• Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents [0.0]
  出力トークンが出力される前に,アクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを検討する。 第3に,マルチターンフィルタを累積情報フロー問題として扱う。 その結果、クレデンシャル・エミッション・ディフェンスは、事前出力監視、カナリア検出、時間的漏洩会計を併用すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-02T18:53:17Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Out-of-distribution detection based on subspace projection of high-dimensional features output by the last convolutional layer [5.902332693463877]
  本稿では,リッチな画像特徴を含む最終畳み込み層によって出力される高次元特徴に焦点をあてる。 我々のキーとなるアイデアは、これらの高次元特徴を2つの特定の特徴部分空間に投影し、事前定義された均一分布クラス Centroids (PEDCC)-Loss で訓練することです。 本手法では,入力前処理や特定のOODデータの事前チューニングの必要性を排除し,分類ネットワークモデルのトレーニングのみを必要とする。
  論文  参考訳（メタデータ） (2024-05-02T18:33:02Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。