論文の概要: Damage-Aware Bandit Pruning for Vision and Language Transformers

• arxiv url: http://arxiv.org/abs/2609.05448v1
• Date: Sun, 02 Aug 2026 23:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.479218
• Title: Damage-Aware Bandit Pruning for Vision and Language Transformers
• Title（参考訳）: 視覚・言語変換器の損傷対応帯域分割
• Abstract要約: 変圧器の訓練後プルーニングでは、抑制が限定的な劣化を引き起こす機能単位を選択する必要がある。 固定された候補単位予算の下で、言語および視覚変換器の構造化評価選択を、損傷対応マルチアームバンディット問題として定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured post-training pruning of transformers requires selecting complete functional units whose suppression causes limited degradation. We formulate structured-unit selection for language and vision transformers as a damage-aware multi-armed bandit problem under a fixed candidate-evaluation budget. Attention heads and MLP channel groups are temporarily masked on calibration batches. Paired damage is the masked loss minus the base loss on the same batch, reducing batch-to-batch variation. A smooth bounded reward drives either a UCB-style policy or fractional-Beta Thompson Sampling, and the final mask is constructed sequentially by adding one unit at each step. The selected units are functionally zeroed in the original dense checkpoint; therefore, the reported parameter effects represent effective structural suppression rather than physical compression or measured speedup. Experiments on WikiText-2, LAMBADA, and Imagenette cover GPT-2, OPT, Pythia, Qwen2.5, SmolLM2, ViT-B/16, DeiT-Tiny, and Swin-Tiny, with comparisons against random, magnitude, static-saliency, and budgeted-greedy selection. Across five seeds, the bandit methods usually reduce degradation relative to budgeted greedy in the paired language-model comparisons. Of 28 comparisons highlighted in the paper, 23 bootstrap confidence intervals exclude zero and 11 paired tests have p < 0.05; six have q < 0.05 after Benjamini-Hochberg correction across the full family of 116 dataset-wise tests. Matched-evaluation results for ViT-B/16 and Swin-Tiny indicate that their gains are not explained solely by a larger candidate-evaluation budget.
• Abstract（参考訳）: 変圧器の構造的後プルーニングでは、抑制が限定的な劣化を引き起こす完全な機能ユニットを選択する必要がある。 言語および視覚変換器の構造化単位選択を、固定された候補評価予算の下で、損傷対応マルチアームバンディット問題として定式化する。 注意頭とMLPチャネル群は、キャリブレーションバッチに一時的にマスクされる。 ペアド・ダメージは、同じバッチにおけるベース損失を減少させ、バッチ・ツー・バッチのばらつきを低減させるマスクド・ロスである。 滑らかな有界報酬はUPBスタイルのポリシーまたは分数ベタ・トンプソンサンプリングを駆動し、最終マスクは各ステップに1つのユニットを追加して順次構成される。 選択したユニットは、元の密集チェックポイントで機能的にゼロになるので、報告されたパラメータ効果は、物理的圧縮や測定されたスピードアップよりも効果的な構造的抑制を示す。 WikiText-2, LAMBADA, Imagenette では GPT-2, OPT, Pythia, Qwen2.5, SmolLM2, ViT-B/16, DeiT-Tiny, Swin-Tiny をカバーし, ランダム, マグニチュード, スタティック・サリシティ, 予算付きグレーディ選択の比較を行った。 5つの種にまたがって、ランディット法は、ペア言語モデルの比較において、予算付きグリーディと比較して分解を減少させるのが普通である。 論文で強調された28の比較のうち、23のブートストラップの信頼区間はゼロを除外し、11のペアテストは p < 0.05 である。 ViT-B/16とSwin-Tinyのマッチング評価結果は、その利益は、より大きな候補評価予算によってのみ説明されないことを示している。

関連論文リスト

• The Fly That Stopped: Mushroom-Body-Inspired Habituation as a Reward-Free Scheduling Prior for Autonomous Penetration Testing [0.0]
  ショウジョウバエのキノコ体新鮮処理に触発された無報酬スケジューラの評価を行った。 スパースステートエンコーディングと、構造的なURLクラスとツールファミリー上の崩壊する習慣カウンタを組み合わせる。 条件付きスケジューラは6つの非XSSターゲットペアの重複比率を下げた。
  論文  参考訳（メタデータ） (2026-09-24T07:02:59Z)
• Should This Case Be Adapted? Prediction Fragmentation Controls Test-Time Adaptation [10.143713953177533]
  エピソードテスト時間適応は、凍結セグメンタを各ケースのソースウェイトにリセットし、固定ステップ数に適応する。 固定地平線はコホートレベルの問題、どの程度の距離で適応するか、そして不可解なケースごとの質問を膨らませる。 我々は、この害を、コントローラが配置する編集領域の有害な部分である有害許容領域(HA)として定量化する。
  論文  参考訳（メタデータ） (2026-09-17T17:02:53Z)
• SMOPD: Selective Token-Entropy Masking for Dirty-History Multi-Turn On-Policy Self-Distillation [0.0]
  SMOPD(Selective Masking for On-Policy Distillation)は多ターンOPSDにおける損失のみの安定化手法である。 生成した中ターン応答ごとに、SMOPDは学生エントロピーによってトークンの位置をランク付けし、クリッピングされたジェンセン・シャノン蒸留損失から最低エントロピー20%を除去する。 この設計は、粗い軌道結果よりもトークンレベルの不確実性を目標とし、パラメータを追加せず、推論時のオーバーヘッドもゼロである。
  論文  参考訳（メタデータ） (2026-07-30T08:40:30Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs [2.458848206334729]
  逆パッチは物理的に実現可能な局所雑音であり、視覚変換器(ViT)の自己注意をハイジャックすることができる。 本稿では,Jensen-Shannon Divergence を用いた STRAP-ViT と呼ばれる機構を提案する。 STRAP-ViTはViTアーキテクチャの非トレーニング可能なプラグイン・アンド・プレイブロックとして適合し、推論目的のみで、計算コストは最小限である。
  論文  参考訳（メタデータ） (2026-03-13T06:03:44Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)
• Contextual Combinatorial Bandits with Probabilistically Triggered Arms [55.9237004478033]
  確率的に誘発される腕(C$2$MAB-T)を様々な滑らかさ条件下で検討した。 トリガー変調 (TPM) 条件の下では、C$2$-UC-Tアルゴリズムを考案し、後悔すべき$tildeO(dsqrtT)$を導出する。
  論文  参考訳（メタデータ） (2023-03-30T02:51:00Z)
• Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms [59.8188496313214]
  半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。 まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。 次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T13:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。