論文の概要: qZACH-ViT: Quantization-Aware Intrinsic Explanations with Recursive Attribution-Stabilized Optimization

• arxiv url: http://arxiv.org/abs/2607.15421v1
• Date: Thu, 16 Jul 2026 19:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.691266
• Title: qZACH-ViT: Quantization-Aware Intrinsic Explanations with Recursive Attribution-Stabilized Optimization
• Title（参考訳）: qZACH-ViT:再帰帰帰帰属安定化最適化による量子化を考慮した内在的説明
• Abstract要約: ゼロトケンフリーなZACH-ViTバックボーンの量子化対応拡張であるqZACH-ViTを導入する。 帰納的属性安定化最適化(RASO)も導入する。 我々は,クラス毎に50のトレーニング画像と10の固定種子を用いて,7つのMedMNISTデータセットに対して4つの制御条件を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact medical-image classifiers need efficiency and interpretable evidence, yet these goals are often addressed separately. We introduce qZACH-ViT, a quantization-aware extension of the zero-token (CLS-token-free), position-free ZACH-ViT backbone with recursive intrinsic patch-level class evidence. We also introduce Recursive Attribution-Stabilized Optimization (RASO), which norm-matches classification and attribution gradients and removes attribution components that conflict with classification. We evaluate four controlled conditions on seven MedMNIST datasets using 50 training images per class and ten fixed seeds, completing 280 runs. All 210 qZACH-ViT checkpoints are converted to executable mixed-precision ONNX INT8 graphs containing 16 signed INT8 MatMulInteger projections with INT32 accumulation. Deployed mixed-precision INT8 qZACH-ViT with Adam improves the FP32 ZACH-ViT baseline mean on all seven datasets, with a mean paired gain of 0.0313 in the dataset-specific primary metric; qZACH-ViT with RASO yields a mean gain of 0.0368. Across 964,920 source-to-INT8 test comparisons, prediction agreement is 99.9751\%, with a mean absolute primary-metric change of 0.000133 and a maximum of 0.004386. Across 3,600 matched intrinsic maps, mean cosine similarity is 0.999955, mean rank correlation is 0.9944, and mean top-10\% overlap is 0.9692. ONNX artifacts are 70.0\% smaller than source checkpoints and provide $1.41\times$ and $2.39\times$ end-to-end CPU speedups with one and four threads. RASO significantly reduces sufficiency error and improves input-noise stability over Adam with the same attribution loss, but does not dominate every predictive or explainable artificial intelligence (XAI) metric. These results establish qZACH-ViT as a deployable compact intrinsically explainable model and RASO as a targeted stability-oriented optimization procedure.
• Abstract（参考訳）: コンパクトな医療画像分類器は効率性と解釈可能な証拠を必要とするが、これらの目標はしばしば別々に扱われる。 我々はゼロトケン(CLS-token-free)の量子化対応拡張であるqZACH-ViTを紹介した。 また、帰納的属性安定化最適化(RASO)を導入し、分類と矛盾する帰属成分を除去する。 我々は,クラス毎に50のトレーニング画像と10の固定種子を用いて,7つのMedMNISTデータセットに対して4つの制御条件を評価し,280回の実行を完了した。 210のqZACH-ViTチェックポイントはすべて、INT32を蓄積した16の符号付きINT8 MatMulIntegerプロジェクションを含む混合精度のONNX INT8グラフに変換される。 混合精度INT8 qZACH-ViTをAdamにデプロイすると、FP32 ZACH-ViTベースライン平均が7つのデータセットで平均0.0313となり、RASO付きqZACH-ViTは平均0.0368となる。 964,920のソース-トゥ-INT8テストの比較では、予測合意は99.9751\%であり、平均的な絶対初等値変化は0.000133、最大値0.004386である。 3600の一致した固有写像の平均コサイン類似度は0.999955、平均ランク相関は0.9944、平均トップ10\%オーバーラップは0.9692である。 ONNXアーティファクトはソースチェックポイントよりも70.0\%小さく、$1.41\times$と$2.39\times$1と4スレッドのエンドツーエンドCPUスピードアップを提供する。 RASOは十分誤差を著しく低減し、同じ帰属損失を持つAdamに対する入力ノイズ安定性を向上させるが、予測的または説明可能な人工知能(XAI)の指標を全て支配するわけではない。 これらの結果は、デプロイ可能なコンパクトな本質的な説明可能なモデルとしてqZACH-ViTを確立し、RASOを目標とする安定性指向最適化手法として確立する。

関連論文リスト

• K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models [32.7114174898989]
  我々は,デコーダのみの言語モデルにおけるペルソナ制御のための構造化曲面として,K/V-cacheの介入について検討する。 表現レベルのアライメントと行動表現の間には2つの一貫した普遍性があり,また位置摂動下での共通の失敗も報告する。
  論文  参考訳（メタデータ） (2026-09-10T02:56:50Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Dataset Distillation by Influence Matching [42.09931906541133]
  Inf-Matchは、収束したパラメータに影響を及ぼすコンパクトな合成集合を学習する。 標準分類ベンチマークで最高の精度を提供する。 Inf-MatchはFlickr30Kの視覚言語蒸留にスケールし、強力なプロセスマッチングベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-07-18T15:47:03Z)
• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization [36.286359836094086]
  キャリブレーションデータ合成と混合精度ビット割り当てを協調的に最適化するためのTAS(Task-Aware Sensitivity Analysis)を提案する。 LLaMA-3-8B と Qwen2.5-7B の実験では精度の反転が明らかにされている。
  論文  参考訳（メタデータ） (2026-07-01T13:12:21Z)
• Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
  本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。 我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。 我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
  論文  参考訳（メタデータ） (2026-06-18T20:51:42Z)
• Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
  本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。 10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。 LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
  論文  参考訳（メタデータ） (2026-05-23T16:57:25Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
  一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。 マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。 統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
  論文  参考訳（メタデータ） (2026-05-04T04:13:00Z)
• GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference [0.0]
  本稿では,混合精度最適化を用いたNVIDIARTを用いた変圧器モデルのためのGPU加速型推論パイプラインの設計と評価を行う。 このシステムはCPUベースラインの64.4倍のスピードアップ、シングルサンプル推論の10ms以下のレイテンシ、メモリ使用量の63%削減を実現している。
  論文  参考訳（メタデータ） (2026-03-30T17:27:33Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
  MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。 VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。 モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
  論文  参考訳（メタデータ） (2025-11-02T07:04:12Z)
• Identity-Link IRT for Label-Free LLM Evaluation: Preserving Additivity in TVD-MI Scores [3.959606869996232]
  本報告では,TVD-MIの2次試行平均値が,非線形リンク関数を使わずに項目応答理論(IRT)に適合する付加的構造で中心確率スコアを得ることを示す。 Giniエントロピーからこのクリップ付き線形評価を導出し、境界飽和を扱うボックス制約最小二乗の定式化を導出する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:25Z)
• Multi-View Correlation Consistency for Semi-Supervised Semantic Segmentation [59.34619548026885]
  半教師付きセマンティックセグメンテーションは、ラベルなしデータのリッチで堅牢な監視を必要とする。 本稿では,異なるビュー間の画素・画素対応を保証するビューコヒーレントなデータ拡張戦略を提案する。 2つのデータセットの半教師付き設定では、最先端の手法と比較して、競争の正確さが報告される。
  論文  参考訳（メタデータ） (2022-08-17T17:59:11Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。