論文の概要: PACE: Prune-And-Compress Ensemble Models
- arxiv url: http://arxiv.org/abs/2605.06278v1
- Date: Thu, 07 May 2026 13:51:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.861438
- Title: PACE: Prune-And-Compress Ensemble Models
- Title(参考訳): PACE: Prune-and-Compress Ensemble Models
- Authors: Fabian Akkerman, Julien Ferry, Théo Guyard, Thibaut Vidal,
- Abstract要約: PACEは, 2段階戦略において, 刈り込みと圧縮の手法をインターリーブするフレームワークである。
実験により,本手法は,忠実度保証の原則的制御を提供しながら,事前の刈り込みおよび圧縮方法よりも優れた性能を示した。
- 参考スコア(独自算出の注目度): 9.148661208460704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensemble models achieve state-of-the-art performance on prediction tasks, but usually require aggregating a large number of weak learners. This can hinder deployment, interpretability, and downstream tasks such as robustness verification. Remedies to this issue fall into two main camps: pruning, which discards redundant learners, and compression, which generates new ones from scratch. We introduce PACE, a framework that interleaves these paradigms in a two-phase strategy. First, new learners are actively generated via a theoretically grounded procedure to enhance the diversity of the initial ensemble. When no more relevant learners can be found, a second phase of pruning is performed on this enriched ensemble. During both operations, PACE allows fine control on the faithfulness to the original ensemble. Experiments show that our method outperforms prior pruning and compression methods while offering principled control of faithfulness guarantees.
- Abstract(参考訳): アンサンブルモデルは予測タスクで最先端のパフォーマンスを達成するが、通常は多くの弱い学習者を集約する必要がある。
これにより、デプロイメント、解釈可能性、ロバストネス検証などの下流タスクが妨げられる。
この問題の修正は、冗長な学習者を捨てるプルーニング(pruning)と、新しいものをゼロから生成する圧縮の2つの主要なキャンプに該当する。
PACEは、2段階戦略でこれらのパラダイムをインターリーブするフレームワークである。
まず,新たな学習者は理論的に基礎づけた手順によって,初期アンサンブルの多様性を高めるために積極的に生成される。
より関連性の高い学習者が見つからない場合には、この強化されたアンサンブルで第2のプルーニングを行う。
両方の操作の間、PACEは元のアンサンブルに対する忠実さを細かく制御できる。
実験により,本手法は,忠実度保証の原則的制御を提供しながら,事前の刈り込みおよび圧縮方法よりも優れた性能を示した。
関連論文リスト
- Group Cognition Learning: Making Everything Better Through Governed Two-Stage Agents Collaboration [13.299987551113809]
グループ認知学習(グループ認知学習、Group Cognition Learning、GCL)は、モダリティ固有の符号化の後に2段階のプロトコルを適用する、管理された協調パラダイムである。
GCLはモダリティの優位性と結合を緩和し、回帰ベンチマークと分類ベンチマークの両方で最先端の結果を確立する。
論文 参考訳(メタデータ) (2026-05-01T03:19:34Z) - Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework [39.59931739606983]
Visual Document Retrieval (VDR) は、視覚的にリッチな膨大なコーパス内の関連ページを検索することを目的としている。
プルーニングやマージといった現在の効率性は不完全であり、圧縮率と特徴の忠実さのトレードオフが難しい。
本稿では,これらの相補的アプローチを相補する新しい2段階フレームワークPrune-then-Mergeを紹介する。
論文 参考訳(メタデータ) (2026-02-23T06:45:19Z) - Sample Compression for Self Certified Continual Learning [4.354838732412981]
連続学習アルゴリズムは、一連のタスクから学習することを目的としており、トレーニング分布を静止しないものにしている。
提案手法はCoP2L(Continual Pick-to-Learn)と呼ばれ,各タスクの最も代表的なサンプルを効率的に保持することができる。
論文 参考訳(メタデータ) (2025-03-13T16:05:56Z) - LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。
最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。
しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。
理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
論文 参考訳(メタデータ) (2024-10-01T12:58:37Z) - Purify Unlearnable Examples via Rate-Constrained Variational Autoencoders [101.42201747763178]
未学習例(UE)は、正しくラベル付けされたトレーニング例に微妙な修正を加えることで、テストエラーの最大化を目指している。
我々の研究は、効率的な事前学習浄化法を構築するための、新しいゆがみ機構を提供する。
論文 参考訳(メタデータ) (2024-05-02T16:49:25Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳(メタデータ) (2021-01-20T11:48:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。