論文の概要: ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps

• arxiv url: http://arxiv.org/abs/2609.11498v2
• Date: Fri, 11 Sep 2026 17:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.475038
• Title: ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps
• Title（参考訳）: ActMap: 生成時アクティベーションマップによる単一パス不確かさの定量化
• Abstract要約: ActMapは、生成時の隠れ状態軌跡を固定された12時間s32times128$の時間統計チャネルに圧縮する表現である。 小型ビジョン変換器としてインスタンス化された軽量分類器は、各マップから推定された正当性確率をミリ秒単位で読み取る。
• 参考スコア（独自算出の注目度）: 1.7403133838762448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical uncertainty quantification (UQ) for large language models must decide, from a single generation, whether a specific answer should be trusted. Existing methods either sample multiple generations, read only output-token probabilities, or reduce the model's internal computation to a single hidden state. We introduce ActMap, a white-box representation that compresses the generation-time hidden-state trajectory (every layer, every generated token) into a fixed $12\times32\times128$ tensor of temporal-statistic channels that preserves structure across transformer depth and pooled hidden coordinates. The map is captured during the generation pass with no measurable overhead, has a fixed shape across model depths and hidden sizes, and occupies 96 KiB: a compact artifact that can be retained for audit-relevant generations and probed directly, with occlusion analysis localizing the classifier's signal to mid-depth regions of the map. A lightweight classifier, instantiated as a compact Vision Transformer, reads an estimated correctness probability from each map in a fraction of a millisecond; capacity-matched MLPs perform comparably, indicating the representation itself carries the result. Trained and evaluated in-domain on short-answer QA, direct-answer math, and summarization factuality with three instruction-tuned 7-8B models, ActMap consistently outperforms sampling, token-probability, attention, and embedding baselines, and matches ACT-ViT, a detector trained on dense activation tensors $67\times$ larger, at essentially the same mean AUROC with lower calibration error on ten of twelve pairs. The resulting score supports abstention, routing, and selective verification from a single generation, making it a practical primitive for scalable oversight of deployed models.
• Abstract（参考訳）: 大規模言語モデルの実用的不確実性定量化(UQ)は、ある特定の答えが信頼できるかどうかを1世代から決めなければならない。 既存のメソッドは、複数の世代をサンプリングし、出力トーケン確率だけを読み取るか、モデルの内部計算を単一の隠れ状態に減らすかのいずれかである。 ActMapは、生成時の隠れ状態軌跡(すべての層、生成されたトークン)を固定された12\times32\times128$テンソルの時間統計チャネルに圧縮し、トランスフォーマーの深さとプールされた隠れ座標を保存します。 マップは、測定可能なオーバーヘッドのない世代パス中にキャプチャされ、モデルの深さと隠されたサイズに固定された形状を持ち、96 KiBを占有する。 軽量分類器は、コンパクトビジョン変換器としてインスタンス化され、1ミリ秒の間隔で各地図から推定された正しさ確率を読み取る。 ActMapはサンプリング、トークン確率、注意、埋め込みベースラインを一貫して上回り、密度の高いアクティベーションテンソルをトレーニングしたACT-ViTと一致します。 結果として得られたスコアは、単一世代からの棄権、ルーティング、選択的な検証をサポートするため、デプロイされたモデルのスケーラブルな監視には実用的なプリミティブである。

関連論文リスト

• Finding Belief Geometries with Sparse Autoencoders [0.0]
  本稿では,変圧器表現における単純な部分空間の候補を求めるパイプラインを提案する。 隠れマルコフモデルを用いて学習した変圧器上でのパイプラインの検証を行った。 真の信念のような幾何学がGemma-2-9Bの表現空間に存在するという予備的な証拠がある。
  論文  参考訳（メタデータ） (2026-04-03T03:29:48Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Asynchronously Trained Distributed Topographic Maps [0.0]
  分散トレーニングによって特徴マップを生成するために,N$の自律ユニットを用いたアルゴリズムを提案する。 単位の自律性は、分散探索とカスケード駆動の重み更新スキームを組み合わせることで、時間と空間のスパース相互作用によって達成される。
  論文  参考訳（メタデータ） (2023-01-20T01:15:56Z)
• Localized Randomized Smoothing for Collective Robustness Certification [60.83383487495282]
  我々は、あらゆる種類のモデルに対してより一般的な集合的ロバスト性証明を提案する。 このアプローチは、より大規模なソフトな局所モデルに対して有益であることを示す。 この証明書は、我々の新しい局所的ランダム化平滑化アプローチに基づいている。
  論文  参考訳（メタデータ） (2022-10-28T14:10:24Z)
• Self-Supervised Clustering on Image-Subtracted Data with Deep-Embedded Self-Organizing Map [0.0]
  自己教師型機械学習モデルであるdeep-embedded self-organizing map (DESOM)を実ボガス分類問題に適用する。 我々は異なるモデルトレーニング手法を実証し、最良のDESOM分類器は検出率6.6%、偽陽性率1.5%を示した。
  論文  参考訳（メタデータ） (2022-09-14T02:37:06Z)
• Constrained Sampling for Class-Agnostic Weakly Supervised Object Localization [10.542859578763068]
  自己監督型視覚変換器は、画像内のオブジェクトの正確なローカライゼーションマップを生成することができる。 本稿では,異なるトランスフォーマーヘッドが生成する複数のマップを利用して,弱い教師付きオブジェクトローカライゼーションモデルをトレーニングする擬似ラベルを取得することを提案する。
  論文  参考訳（メタデータ） (2022-09-09T19:58:38Z)
• Discriminative Sampling of Proposals in Self-Supervised Transformers for Weakly Supervised Object Localization [10.542859578763068]
  自己監督型視覚変換器は、画像内のオブジェクトの正確なローカライゼーションマップを生成することができる。 本稿では,異なるトランスフォーマーヘッドが生成する複数のマップを利用して,弱い教師付きオブジェクトローカライゼーションモデルをトレーニングする擬似ラベルを取得することを提案する。
  論文  参考訳（メタデータ） (2022-09-09T18:33:23Z)
• Sparse Instance Activation for Real-Time Instance Segmentation [72.23597664935684]
  本稿では,リアルタイムインスタンスセグメンテーションのための概念的・効率的・完全畳み込み型フレームワークを提案する。 SparseInstは非常に高速な推論速度を持ち、COCOベンチマークで40 FPSと37.9 APを達成した。
  論文  参考訳（メタデータ） (2022-03-24T03:15:39Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps [78.2581910688094]
  本研究は, カテゴリーラベルのみを監督として, 正確な対象位置分布マップと対象境界を抽出する, 新たな自己強調手法を提案する。 特に、提案されたセルフエンハンスメントマップは、ILSVRC上で54.88%の最先端のローカライゼーション精度を達成する。
  論文  参考訳（メタデータ） (2020-06-09T12:35:55Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。