論文の概要: TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability

• arxiv url: http://arxiv.org/abs/2605.14738v2
• Date: Wed, 20 May 2026 20:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.41329
• Title: TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability
• Title（参考訳）: TAPIOCA: OODモデルの能力を改善するタスク認識型実行
• Authors: Krish Sharma, Omar Naim, Soumadeep Saha, Vinija Jain, Aman Chadha, Nicholas Asher,
• Abstract要約: 近年の作業では、特定のタスクにおけるモデルパフォーマンスを改善する手段として、タスク対応層プルーニングが推進されている。 このような刈り取りは, 分配データに利益をもたらすことなく, 分配精度を常に向上させることを示す。 これはタスク認識プルーニングの幾何学的説明につながる。
• 参考スコア（独自算出の注目度）: 18.23981347958568
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent work has promoted task-aware layer pruning as a way to improve model performance on particular tasks, as shown by TALE. In this paper, we investigate when such improvements occur and why. We show first that, across controlled polynomial regression tasks and large language models, such pruning yields no benefit on in-distribution (ID) data but consistently improves out-of-distribution (OOD) accuracy. We further show empirically that OOD inputs induce layerwise norm and pairwise-distance profiles that deviate from the corresponding ID profiles. This leads to a geometric explanation of task-aware pruning: each task induces a task-adapted geometry, characterized empirically by the representation profiles observed on ID inputs. OOD inputs can introduce a distorted version of the task-adapted geometry. Task-aware pruning identifies layers that create or amplify this distortion; by removing them, it shifts OOD representational norms and pairwise distances toward those observed on the adapted distribution. This realigns OOD inputs with the model's task-adapted geometry and improves performance. We provide causal evidence through controlled distribution shifts and residual-scaling interventions, and demonstrate consistent behavior across model scales.
• Abstract（参考訳）: 近年の作業は、TALEが示すように、特定のタスクにおけるモデル性能を改善する手段としてタスク対応層プルーニングを推進している。 本稿では,このような改善がいつ起こるのか,なぜ起こるのかを考察する。 まず、制御多項式回帰タスクや大言語モデルにおいて、そのようなプルーニングは、分布内(ID)データに利益をもたらすことなく、分布外(OOD)の精度を一貫して改善することを示す。 さらに、OOD入力が対応するIDプロファイルから逸脱する階層的ノルムとペアワイズ距離プロファイルを誘導することを示す。 それぞれのタスクは、ID入力で観察された表現プロファイルによって経験的に特徴づけられるタスク適応幾何を誘導する。 OOD入力は、タスク適応幾何の歪曲版を導入することができる。 タスク対応プルーニング(Task-Aware pruning)は、この歪みを発生または増幅するレイヤを識別する。 これにより、OOD入力はモデルのタスク適応幾何で実現され、性能が向上する。 制御された分布シフトと残留スケーリングの介入を通して因果的証拠を提供し、モデルスケール間で一貫した振る舞いを示す。

関連論文リスト

• Mitigating the ID-OOD Tradeoff in Open-Set Test-Time Adaptation [52.620992698137236]
  オープンセットテスト時間適応(OSTTA)は、新しい環境にモデルを適用するという課題に対処する。 本稿では,OSTTAにおけるエントロピーの限界をまず解析し,次に特徴ノルム等級を規制する角損失を導入する。 高いID分類性能を維持しながら強力なOOD検出を実現する。
  論文  参考訳（メタデータ） (2026-04-02T04:00:57Z)
• Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
  我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。 まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。 そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
  論文  参考訳（メタデータ） (2026-03-08T01:06:07Z)
• Feed Two Birds with One Scone: Exploiting Function-Space Regularization for Both OOD Robustness and ID Fine-Tuning Performance [72.57668440744301]
  シミュレーションOODサンプルを用いて,関数空間における微調整モデルと事前学習モデルの距離を制約する新しい正規化を提案する。 このアプローチは、ダウンストリームタスクIDの微調整性能と、さまざまなCLIPバックボーン間のOODロバスト性の両方を一貫して改善できる。
  論文  参考訳（メタデータ） (2025-08-31T12:14:34Z)
• Taylor Outlier Exposure [0.7673339435080445]
  Taylor Outlier Exposure(TaylorOE)は、IDサンプルで汚染されたノイズの多いOODデータセットのトレーニングを可能にする、正規化を備えたOEベースのアプローチである。 提案手法は従来手法より一貫して優れており,本手法の有効性を示すために正規化項を解析する。
  論文  参考訳（メタデータ） (2024-12-10T06:17:07Z)
• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• No Shifted Augmentations (NSA): compact distributions for robust self-supervised Anomaly Detection [4.243926243206826]
  教師なし異常検出(AD)は正規化の概念を構築し、分布内(ID)と分布外(OOD)データを区別する必要がある。 我々は,ID特徴分布のエンフ幾何学的コンパクト性によって,外乱の分離や検出が容易になるかを検討する。 我々は,IDデータのコンパクトな分布を学習可能にする自己教師型特徴学習ステップに,新たなアーキテクチャ変更を提案する。
  論文  参考訳（メタデータ） (2022-03-19T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。