論文の概要: Safe Screening Rules for Group OWL Models
- arxiv url: http://arxiv.org/abs/2504.03152v2
- Date: Tue, 08 Apr 2025 02:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 10:05:10.880138
- Title: Safe Screening Rules for Group OWL Models
- Title（参考訳）: グループOWLモデルの安全なスクリーニングルール
- Authors: Runxue Bao, Quanchao Lu, Yanfu Zhang,
- Abstract要約: Group Ordered Weighted $L_1$-Norm (Group OWL) 正規化モデルは,高次元スパースマルチタスク学習に有効な手法として出現している。
グループOWLモデルは通常、高次元シナリオにおいて特徴量が大きい場合、膨大な計算コストとメモリ使用量に悩まされる。
本稿では,非分離型ペナルティを効果的に扱うことにより,グループOWLモデルの安全なスクリーニングルールを提案する。
- 参考スコア（独自算出の注目度）: 10.831609326463756
- License:
- Abstract: Group Ordered Weighted $L_{1}$-Norm (Group OWL) regularized models have emerged as a useful procedure for high-dimensional sparse multi-task learning with correlated features. Proximal gradient methods are used as standard approaches to solving Group OWL models. However, Group OWL models usually suffer huge computational costs and memory usage when the feature size is large in the high-dimensional scenario. To address this challenge, in this paper, we are the first to propose the safe screening rule for Group OWL models by effectively tackling the structured non-separable penalty, which can quickly identify the inactive features that have zero coefficients across all the tasks. Thus, by removing the inactive features during the training process, we may achieve substantial computational gain and memory savings. More importantly, the proposed screening rule can be directly integrated with the existing solvers both in the batch and stochastic settings. Theoretically, we prove our screening rule is safe and also can be safely applied to the existing iterative optimization algorithms. Our experimental results demonstrate that our screening rule can effectively identify the inactive features and leads to a significant computational speedup without any loss of accuracy.
- Abstract（参考訳）: Group Ordered Weighted $L_{1}$-Norm (Group OWL) 正規化モデルは,高次元のスパースマルチタスク学習に有効な手法として出現している。
近似勾配法は群OWLモデルの解法として用いられる。
しかし、グループOWLモデルは通常、高次元シナリオにおいて特徴量が大きい場合、膨大な計算コストとメモリ使用量に悩まされる。
この課題に対処するため,本論文では,構成された非分離ペナルティを効果的に回避し,全てのタスクにおいてゼロ係数を持つ不活性な特徴を迅速に識別し,グループOWLモデルの安全なスクリーニングルールを提案する。
したがって、トレーニングプロセス中に不活性な特徴を除去することにより、かなりの計算ゲインとメモリ節約を達成することができる。
さらに重要なことに、提案されたスクリーニングルールは、バッチと確率的設定の両方で、既存のソルバと直接統合することができる。
理論的には、スクリーニングルールは安全であり、既存の反復最適化アルゴリズムにも安全に適用できる。
実験結果から, スクリーニングルールは不活性な特徴を効果的に識別し, 精度を損なうことなく, 計算速度が大幅に向上することを示した。
関連論文リスト
- Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:56:20Z) - SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。
離散選択問題を連続的な部分集合最適化フレームワークに変換する。
両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文 参考訳（メタデータ） (2025-02-14T12:35:21Z) - Compact Rule-Based Classifier Learning via Gradient Descent [0.7874708385247353]
透明性と説明責任のある意思決定を必要とするシナリオにおいて、ルールベースのモデルは重要な役割を果たす。
そこで本研究では,規則の最大数と長さをユーザが制御できる,勾配降下法を用いて学習した新しいルールベース分類器を提案する。
数値的なパーティションの場合、ユーザはファジィセットで使用されるパーティションを制御できる。
論文 参考訳（メタデータ） (2025-02-03T14:13:39Z) - Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。
この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。
本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。
また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2024-09-26T09:56:13Z) - Strong screening rules for group-based SLOPE models [0.49109372384514843]
グループベースSorted L-One Penalized Estimation(SLOPE)モデルのスクリーニングルールを開発する。
開発されたルールは、OSCARを含むグループベースのモデルのより広範なファミリーに適用できる。
論文 参考訳（メタデータ） (2024-05-24T08:48:06Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - A Screening Strategy for Structured Optimization Involving Nonconvex
$\ell_{q,p}$ Regularization [5.522202658637732]
我々は、noll_qp$正規化を含む構造化最適化の解法において、計算効率を改善するためのルール戦略を開発する。
我々は、IRL1法の有限個の繰り返しにおいて、我々の規則がすべての不活性変数を除去できることを証明した。
数値実験は、いくつかの最先端アルゴリズムと比較して、スクリーニングルール戦略の効率を例示する。
論文 参考訳（メタデータ） (2022-08-02T10:01:49Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳（メタデータ） (2022-04-23T02:45:55Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。
このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文 参考訳（メタデータ） (2019-02-02T20:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。