論文の概要: LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories

• arxiv url: http://arxiv.org/abs/2604.10643v1
• Date: Sun, 12 Apr 2026 13:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.146621
• Title: LogitDynamics: Reliable ViT Error Detection from Layerwise Logit Trajectories
• Title（参考訳）: LogitDynamics:レイヤワイドロジット軌道からの信頼性の高いViTエラー検出
• Authors: Ido Beigelman, Moti Freiman,
• Abstract要約: 視覚変換器(ViT)の誤差予測に関する研究 大規模言語モデルにおける内信号幻覚検出の動機付けにより、類似の深度信号がViTに存在するかどうかを考察する。 中間層に軽量な線形ヘッドを付加することにより、予測クラスのロジットとトップK競合の両方をキャプチャする最後のL層から特徴を抽出する。 これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。
• 参考スコア（独自算出の注目度）: 1.4610038284393168
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reliable confidence estimation is critical when deploying vision models. We study error prediction: determining whether an image classifier's output is correct using only signals from a single forward pass. Motivated by internal-signal hallucination detection in large language models, we investigate whether similar depth-wise signals exist in Vision Transformers (ViTs). We propose a simple method that models how class evidence evolves across layers. By attaching lightweight linear heads to intermediate layers, we extract features from the last L layers that capture both the logits of the predicted class and its top-K competitors, as well as statistics describing instability of top-ranked classes across depth. A linear probe trained on these features predicts the error indicator. Across datasets, our method improves or matches AUCPR over baselines and shows stronger cross-dataset generalization while requiring minimal additional computation.
• Abstract（参考訳）: ビジョンモデルをデプロイする場合、信頼性の高い信頼度推定が重要である。 画像分類器の出力が正しいかどうかを1つの前方パスからの信号のみを用いて判定する。 そこで我々は,視覚変換器 (ViT) に類似の深度信号が存在するかを検討した。 本稿では,クラスエビデンスがどのように層間で進化するかをモデル化するシンプルな手法を提案する。 中間層に軽量な線形ヘッドを付加することにより、予測クラスと上位クラスの両方のロジットをキャプチャする最後のL層から特徴を抽出する。 これらの特徴に基づいて訓練された線形プローブは、エラーインジケータを予測する。 データセット全体にわたって,本手法はベースラインよりもAUCPRを改良あるいはマッチングし,最小限の追加計算を必要としながら,より強力なデータセット間一般化を示す。

関連論文リスト

• From Unfamiliar to Familiar: Detecting Pre-training Data via Gradient Deviations in Large Language Models [24.38939297043815]
  既存の手法は主に微調整前後の確率に基づく統計的特徴や信号に焦点を当てている。 対象サンプルの勾配偏差スコアを探索することにより,事前学習データを識別するGDSを提案する。 GDSは、強いベースライン上でのクロスデータセット転送性を大幅に改善し、最先端の性能を実現している。
  論文  参考訳（メタデータ） (2026-03-05T05:21:51Z)
• Exploiting Inter-Sample Information for Long-tailed Out-of-Distribution Detection [7.0229899259286945]
  視覚データセットの長期認識において,サンプル間関係の活用によりOODの検出が大幅に向上することを示す。 提案手法は, FPRとテールクラスIDの分類精度において, 最先端の手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2025-11-20T03:31:37Z)
• ICAS: Detecting Training Data from Autoregressive Image Generative Models [38.1625974271413]
  トレーニングデータ検出は、モデルトレーニングにおける不正なデータ使用を識別するための重要なタスクとして登場した。 我々はこの領域に会員推定を適用した最初の研究を行う。 我々の手法は、様々なデータ変換の下で強い堅牢性と一般化を示す。
  論文  参考訳（メタデータ） (2025-07-07T14:50:42Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
  この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。 提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
  論文  参考訳（メタデータ） (2020-08-01T17:14:13Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。