論文の概要: RAPID: Reliability-Aware Pair Importance Distillation

• arxiv url: http://arxiv.org/abs/2609.05481v1
• Date: Sun, 23 Aug 2026 09:29:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.639924
• Title: RAPID: Reliability-Aware Pair Importance Distillation
• Title（参考訳）: RAPID: 信頼性に配慮したペア重要度蒸留
• Abstract要約: RAPID(Reliability Aware Pair Importance Distillation)は、信頼性の高いゲート付きリレーショナルターゲットと完全なサポート適応ペアの提案を分離する。 信頼性は教師関係が重視されるかを決定するが、校正された教師エントロピーと分離された生徒-教師残差はどの関係が評価されるかを決定する。
• 参考スコア（独自算出の注目度）: 2.5565719921628443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inter example relational distillation transfers a teacher's representation geometry by matching relations among examples within a mini batch. Computing all pairs has quadratic complexity in the batch size, whereas uniform subsampling may use a limited relation budget inefficiently. We introduce Reliability Aware Pair Importance Distillation, or RAPID, which separates a reliability gated relational target from a full support adaptive pair proposal. Reliability determines which teacher relations are emphasized, while calibrated teacher entropy and detached student-teacher residuals determine which relations are evaluated. Exact inverse proposal correction makes the loss and gradient estimators conditionally unbiased with respect to the gated mini batch target. We evaluate RAPID in two text classification settings: AG News with BERT-to-DistilBERT distillation using three paired seeds and a relation budget of 256, and SST-2 with DistilBERT to DistilBERT distillation using three paired seeds and a relation budget of 64. Reliability gated relational distillation achieves the highest observed mean student accuracy on both datasets: 94.285 plus or minus 0.054 percent on AG News and 88.800 plus or minus 0.532 percent on SST-2. RAPID ranks second, achieving 94.241 plus or minus 0.025 percent and 88.685 plus or minus 0.462 percent, respectively, compared with 94.154 plus or minus 0.124 percent and 87.271 plus or minus 0.162 percent for the cross entropy baseline. Pilot evaluations are counted toward the same total budget as the main relation evaluations. Across both settings, the gated target yields the highest mean accuracy, while the adaptive proposal remains within seed-level variation. These results support the modular view that target reliability and evaluation priority are separable design dimensions.
• Abstract（参考訳）: 中間例のリレーショナル蒸留は、ミニバッチ内の例間の関係を一致させることで教師の表現幾何学を伝達する。 すべてのペアの計算はバッチサイズで2次的な複雑さを持つが、均一なサブサンプリングは制限された関係予算を非効率で使用することがある。 本稿では、信頼度に配慮したペア重要度蒸留(RAPID)を導入し、信頼性の高いゲート付きリレーショナルターゲットとフルサポート適応ペアの提案を分離する。 信頼性は教師関係が重視されるかを決定するが、校正された教師エントロピーと分離された学生-教師残差はどの関係が評価されるかを決定する。 厳密な逆提案補正は、ゲートされたミニバッチターゲットに対して条件付きで損失と勾配推定器を非バイアスにする。 RAPIDは,3対の種を用いたAG Newsと256対の種を用いたSST-2,3対の種を用いたDistilBERTとDistilBERTの2つのテキスト分類で評価した。 信頼性の高いゲート式リレーショナル蒸留は、両方のデータセットで観測された平均学生の精度が最も高く、AGニュースでは94.285プラス0.054パーセント、SST-2では88.800プラス0.532パーセントである。 RAPIDは94.241プラス、0.025%、88.685プラス、0.462%と、94.154プラス、0.1244%、87.271プラス、0.162パーセントと2位である。 パイロット評価は、主関係評価と同じ総予算に向けてカウントされる。 両方の設定で、ゲートターゲットは最高平均精度を得るが、適応的な提案はシードレベルのバリエーションに留まる。 これらの結果は、ターゲットの信頼性と評価優先度が分離可能な設計次元である、というモジュラービューをサポートする。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• Architectural and Regularization Components in Deep Learning Medical Image Registration: Systematic Ablation Study [0.0]
  正規化だけでゲインの大半を占め、最大変形を53.1から0.51に減らし、99.0%削減した。 組み合わせたモデルでは25.8%(1.78%から2.24%)の精度向上が達成され、解剖学的妥当性は0.596から0.930に上昇した。
  論文  参考訳（メタデータ） (2026-08-23T23:34:20Z)
• Asymmetric Focal Loss Improves Graph Neural Network Prediction of Drug-Drug Interactions [0.0]
  グラフニューラルネットワークは多剤副作用の予測を改善する。 標準的なバイナリクロスエントロピートレーニングは、よく分類された、そして難しい例に同等のキャパシティを割り当てる。 マルチリレーショナルな薬物と薬物の相互作用予測において,非対称な焦点対象が改善するか否かを検討した。
  論文  参考訳（メタデータ） (2026-07-08T16:28:57Z)
• Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification [5.584060970507507]
  本稿では,3次元点雲分類のための連成学習(FL)と知識蒸留(KD)を併用して評価する。 13のFLアルゴリズムと10のKD目標(130対のクロスプロダクト)を504のトレーニング実行に当てはめ、ModelNet40と臨床クラニオシノスタシスデータセットで評価されている。
  論文  参考訳（メタデータ） (2026-06-30T20:12:27Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
  DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。 インジェクション帯域ではなく、適応的な停止が正確さを駆動する。 インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
  論文  参考訳（メタデータ） (2026-05-05T19:24:10Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• Logit Standardization in Knowledge Distillation [83.31794439964033]
  教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。 温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。 我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-03-03T07:54:03Z)
• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。