論文の概要: Attention, Please! Revisiting Attentive Probing Through the Lens of Efficiency
- arxiv url: http://arxiv.org/abs/2506.10178v2
- Date: Mon, 06 Oct 2025 13:58:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 14:28:10.162677
- Title: Attention, Please! Revisiting Attentive Probing Through the Lens of Efficiency
- Title（参考訳）: 注意して! 効率のよいレンズを通して注意調査を再考する
- Authors: Bill Psomas, Dionysis Christopoulos, Eirini Baltzi, Ioannis Kakogeorgiou, Tilemachos Aravanis, Nikos Komodakis, Konstantinos Karantzalos, Yannis Avrithis, Giorgos Tolias,
- Abstract要約: 微調整が大規模で非現実的になると、好ましい評価プロトコルとして探索が出現する。
これは注意力を使ってパッチレベルの機能を選択的に集約する代替手段である注意力調査の必要性を動機付けている。
本稿では,既存の手法を総合的に検討し,その設計選択を解析し,性能をベンチマークする。
- 参考スコア（独自算出の注目度）: 20.320991233039965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As fine-tuning becomes increasingly impractical at scale, probing is emerging as the preferred evaluation protocol. Yet, the standard linear probing fails to adequately reflect the potential of models whose pre-training optimizes representations of patch tokens rather than an explicit global representation. This motivates the need for attentive probing, an alternative that uses attention to selectively aggregate patch-level features. Despite its growing adoption, attentive probing remains under-explored, with existing methods suffering from excessive parameterization and poor computational efficiency. In this work, we revisit attentive probing through the lens of the accuracy vs. parameter efficiency trade-off. We present the first comprehensive study of existing methods, analyzing their design choices and benchmarking their performance. Building on this, we propose efficient probing (EP), a simple yet effective multi-query cross-attention mechanism that eliminates redundant projections and reduces the number of trainable parameters. Despite its simplicity, EP outperforms linear probing and prior attentive probing approaches across seven benchmarks, generalizes well to diverse pre-training paradigms, and delivers strong low-shot and layer-wise gains. Beyond evaluation, our analysis uncovers emerging properties of EP, such as complementary attention maps, which open new directions for leveraging probing beyond protocol design. Code available at https://github.com/billpsomas/efficient-probing.
- Abstract（参考訳）: ファインチューニングが大規模に非現実的になるにつれて、好ましい評価プロトコルとして探索が生まれつつある。
しかし、標準的な線形探索は、明示的なグローバル表現ではなくパッチトークンの表現を最適化する事前学習を行うモデルのポテンシャルを適切に反映することができない。
これは注意力を使ってパッチレベルの機能を選択的に集約する代替手段である注意力調査の必要性を動機付けている。
採用が進んでいるにもかかわらず、既存の手法は過剰なパラメータ化と計算効率の低下に悩まされている。
本研究では、精度とパラメータ効率のトレードオフのレンズによる注意探索を再考する。
本稿では,既存の手法を総合的に検討し,その設計選択を解析し,性能をベンチマークする。
これに基づいて、冗長な投影を排除し、トレーニング可能なパラメータの数を削減できる、単純で効果的なマルチクエリ・クロスアテンション機構である効率的な探索(EP)を提案する。
その単純さにもかかわらず、EPは7つのベンチマークで線形探索と事前注意探索のアプローチを上回り、様々な事前学習パラダイムを一般化し、強力なローショットとレイヤーワイドのゲインを提供する。
評価以外にも,プロトコル設計を超えて探索を活用するための新たな方向性を開放する補足的注意マップなど,EPの新たな特性が明らかになった。
コードはhttps://github.com/billpsomas/ efficient-probing.comで公開されている。
関連論文リスト
- Beyond Fully Supervised Pixel Annotations: Scribble-Driven Weakly-Supervised Framework for Image Manipulation Localization [11.10178274806454]
アノテーションの効率と検出性能を向上させる弱監督方式を提案する。
我々は、スクリブルラベルでメインストリームのMLデータセットを再注釈し、最初のスクリブルベースのMLデータセットを提案する。
モデルが一貫した予測を生成することを奨励するために,構造的整合性を損なう自己教師型トレーニングを採用する。
論文 参考訳（メタデータ） (2025-07-17T11:45:27Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z) - Attention Pruning: Automated Fairness Repair of Language Models via Surrogate Simulated Annealing [14.114970711442512]
本稿では,大規模言語モデル (LLM) におけるアテンションヘッドに対するアテンション・プルーニング(Attention Pruning) を提案する。
我々の実験は、注意喚起によって最大40%の性別バイアスが減少し、最先端のバイアス緩和戦略よりも優れることを示した。
論文 参考訳（メタデータ） (2025-03-20T03:02:32Z) - Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。
空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。
当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
論文 参考訳（メタデータ） (2025-03-11T03:58:17Z) - PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity [9.092404060771306]
拡散モデルでは、高品質な条件付きサンプルの生成に顕著な結果が示されている。
しかし、既存の方法は、しばしば追加のトレーニングや神経機能評価(NFE)を必要とする。
本稿では,スパースアテンションを生かして事前学習モデルを強化する,PLADISと呼ばれる新しい,効率的な手法を提案する。
論文 参考訳（メタデータ） (2025-03-10T07:23:19Z) - The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。
UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。
実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文 参考訳（メタデータ） (2025-03-04T18:56:03Z) - ESPFormer: Doubly-Stochastic Attention with Expected Sliced Transport Plans [13.695885742446027]
自己注意は、トレーニング中にいくつかのトークンを過度に集中させ、その結果、準最適情報フローをもたらす可能性がある。
我々は,スライスされた最適輸送に基づく,新しい並列化可能な二重確率的アテンション機構を提案する。
本手法は, 繰り返しシンクホーン正規化を伴わずに二重性を適用し, 効率を著しく向上させる。
論文 参考訳（メタデータ） (2025-02-11T21:20:48Z) - Mask-Enhanced Autoregressive Prediction: Pay Less Attention to Learn More [26.226145789963443]
Mask-Enhanced Autoregressive Prediction (MEAP)は、MLM(Masked Language Modeling)をNTP(Next-Token Prediction)にシームレスに統合する訓練パラダイムである。
集中的な実験では、MEAPはキー情報検索と長文推論タスクにおいてNTPを大幅に上回っている。
分析の結果,MEAPの有効性は,非マスキングトークンの少ないセットに集中することにより,より目立たしい注意点の獲得に寄与することが示唆された。
論文 参考訳（メタデータ） (2025-02-11T11:49:03Z) - Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。
提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-12-19T15:34:52Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-10-19T02:18:29Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
論文 参考訳（メタデータ） (2023-06-12T18:12:19Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。