論文の概要: Relative Representations Enable Portable White-Box Monitoring Across Language Models

• arxiv url: http://arxiv.org/abs/2610.28366v1
• Date: Tue, 20 Oct 2026 15:26:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.886254
• Title: Relative Representations Enable Portable White-Box Monitoring Across Language Models
• Title（参考訳）: 言語モデル全体でポータブルなWhite-Boxモニタリングを可能にする相対表現
• Abstract要約: 独立自己回帰言語モデルでは、相反する表現を操作する行動プローブを用いて、同様に情報を整理する。 これはポータブルなホワイトボックスモニタリングをアンロックする: あるモデル上で開発されたプローブは、ラベル付きターゲットデータを必要とすることなく、モデル変更時に再利用できる。 我々は、トリビアデータセット、安全監視、数学的推論におけるモニタリングタスクを横断するクロスモデルプローブ転送を評価する。
• 参考スコア（独自算出の注目度）: 10.849078849279072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Independently trained autoregressive language models often acquire similar capabilities, but it remains unclear whether their internal representations organize behaviorally relevant information in compatible ways. We show that models do in fact organize information similarly by using specific behavioral probes that operate on compatible representations. This unlocks portable white-box monitoring: a probe developed and validated on one model can be reused when the model changes, without requiring labeled target data. To overcome incompatible native activation coordinates, we express each example through its angular distances to a shared set of anchors. We introduce a global anchored construction that summarizes information from all transformer layers and removes model-specific layer selection, so the same frozen probe can be straightforwardly applied to another model. We evaluate cross-model probe transfer across monitoring tasks on trivia datasets, safety monitoring, and mathematical reasoning. On average, transferred global anchored probes preserve at least 85% of same-model probe AUROC over chance. Anchored probes also support transfer to related datasets, remain robust across model scale and prompt changes, and retain performance better than standard probes after model updates. Transfer is nevertheless task- and target-dependent and can fail even when the monitored property remains strongly decodable in the target model. Overall, global anchoring reveals substantial task-relevant compatibility across independently trained models and provides a practical basis for portable white-box monitoring.
• Abstract（参考訳）: 独立に訓練された自己回帰言語モデルは、しばしば類似の能力を取得するが、それらの内部表現が、互換性のある方法で行動関連情報を整理するかどうかは不明である。 モデルが、互換性のある表現を操作する特定の行動プローブを用いて、同様に情報を整理することを示す。 これはポータブルなホワイトボックスモニタリングをアンロックする: 1つのモデルで開発、検証されたプローブは、ラベル付きターゲットデータを必要とすることなく、モデル変更時に再利用できる。 非互換なネイティブアクティベーション座標を克服するため、角距離を通して各例を共有アンカー群に表現する。 我々は,すべてのトランス層から情報を要約し,モデル固有の層選択を除去するグローバルアンカー構造を導入し,同じフリーズプローブを他のモデルに簡単に適用することができる。 我々は、トリビアデータセット、安全監視、数学的推論におけるモニタリングタスクを横断するクロスモデルプローブ転送を評価する。 平均して、転送されたグローバルアンカードプローブは、偶然に同じモデルプローブAUROCの少なくとも85%を保存している。 また、Anchoredプローブは関連するデータセットへの転送をサポートし、モデルスケール全体にわたって堅牢な状態を維持し、変更を促し、モデル更新後の標準プローブよりもパフォーマンスを向上する。 にもかかわらず、転送はタスク依存およびターゲット依存であり、監視されたプロパティがターゲットモデルで強くデオード可能である場合でも失敗する可能性がある。 全体として、グローバルアンカーは、独立に訓練されたモデル間でのタスク関連性の相当な互換性を明らかにし、ポータブルなホワイトボックスモニタリングの実践的基盤を提供する。

関連論文リスト

• Modular Foundation Models for Time-Series Perception in Digital Twins [0.8983000676504388]
  エンジニアリング デジタルツインとPHM(Prognostics and Health Management)システムは、時系列データから実行可能な情報を抽出するために、堅牢な知覚モジュールに依存している。 本稿では,事前学習した表現エンコーダの集合に基づく時系列知覚のためのモジュラー基礎モデルを提案する。 このフレームワークは異種データセットの自己教師付き学習を活用して、複数のPHMタスク間で再利用可能な、転送可能およびタスクに依存しない表現を学習する。
  論文  参考訳（メタデータ） (2026-07-03T20:02:28Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Transformers Use Causal World Models in Maze-Solving Tasks [49.67445252528868]
  我々は迷路解決タスクで訓練されたトランスフォーマーで世界モデルを特定する。 機能を抑圧するよりも、機能をアクティベートする方が簡単であることが分かりました。 位置符号化方式は、モデルの残留ストリーム内でのワールドモデルがどのように構成されているかに影響を与えるように見える。
  論文  参考訳（メタデータ） (2024-12-16T15:21:04Z)
• Fusing Pseudo Labels with Weak Supervision for Dynamic Traffic Scenarios [0.0]
  我々は、異種データセットで訓練されたオブジェクト検出モデルから擬似ラベルをアマルガメートする弱い教師付きラベル統一パイプラインを導入する。 我々のパイプラインは、異なるデータセットからのラベルの集約、バイアスの修正、一般化の強化を通じて、統一されたラベル空間をエンゲージする。 我々は,統合ラベル空間を用いた単独物体検出モデルを再学習し,動的交通シナリオに精通した弾力性のあるモデルを構築した。
  論文  参考訳（メタデータ） (2023-08-30T11:33:07Z)
• The Traveling Observer Model: Multi-task Learning Through Spatial Variable Embeddings [28.029643109302715]
  我々は、連続した空間を移動し、ある場所で値を計測し、他の場所でそれらを予測する観察者として、一般的な予測システムを構築した。 この視点は、一見無関係なタスクを単一のモデルで解決できる、機械学習フレームワークにつながります。 実験では,(1)空間と時間における変数の直感的な位置の復元,(2)完全に不整合な入力空間と出力空間を持つ関連するデータセット間の正則性の利用,(3)無関係なタスク間の正則性を利用する。
  論文  参考訳（メタデータ） (2020-10-05T21:51:37Z)
• AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
  Auto COCOは、物体検出のためのアンカーフリー検出器である。 外観認識は、完全に微分可能な重み付け機構によって実現される。 我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
  論文  参考訳（メタデータ） (2020-07-07T14:32:21Z)
• S3VAE: Self-Supervised Sequential VAE for Representation Disentanglement and Data Generation [31.38329747789168]
  自己超越下での逐次データの不整合表現を学習するための逐次変分オートエンコーダを提案する。 我々は、入力データ自体から容易にアクセス可能な監視信号や、市販の機能モデルから得られる利点を利用する。 我々のモデルは入力シーケンスの表現を静的因子と動的因子に容易に切り離すことができる。
  論文  参考訳（メタデータ） (2020-05-23T00:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。