論文の概要: Safe Screening for Sparse Conditional Random Fields

• arxiv url: http://arxiv.org/abs/2111.13958v1
• Date: Sat, 27 Nov 2021 18:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 12:24:20.257482
• Title: Safe Screening for Sparse Conditional Random Fields
• Title（参考訳）: スパース条件付ランダムフィールドの安全スクリーニング
• Authors: Weizhong Zhang and Shuang Qiu
• Abstract要約: そこで本研究では,トレーニングプロセス中に無関係な特徴を識別・除去する安全な動的スクリーニング手法を提案する。 また, 本手法は, スパースCRFや構造予測モデルにおいて, 初めてのスクリーニング手法である。 合成および実世界の両方のデータセットに対する実験結果から,本手法による高速化が重要であることが示された。
• 参考スコア（独自算出の注目度）: 13.563686294946745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Conditional Random Field (CRF) is a powerful technique in computer vision and natural language processing for structured prediction. However, solving sparse CRFs in large-scale applications remains challenging. In this paper, we propose a novel safe dynamic screening method that exploits an accurate dual optimum estimation to identify and remove the irrelevant features during the training process. Thus, the problem size can be reduced continuously, leading to great savings in the computational cost without sacrificing any accuracy on the finally learned model. To the best of our knowledge, this is the first screening method which introduces the dual optimum estimation technique -- by carefully exploring and exploiting the strong convexity and the complex structure of the dual problem -- in static screening methods to dynamic screening. In this way, we can absorb the advantages of both the static and dynamic screening methods and avoid their drawbacks. Our estimation would be much more accurate than those developed based on the duality gap, which contributes to a much stronger screening rule. Moreover, our method is also the first screening method in sparse CRFs and even structure prediction models. Experimental results on both synthetic and real-world datasets demonstrate that the speedup gained by our method is significant.
• Abstract（参考訳）: スパース条件ランダム場(Sparse Conditional Random Field, CRF)は、構造化予測のためのコンピュータビジョンと自然言語処理において強力な技術である。 しかし、大規模アプリケーションにおけるスパースCRFの解決は依然として困難である。 本稿では, トレーニング過程における不適切な特徴を特定し, 除去するために, 高精度な二重最適推定を利用する新しい安全な動的スクリーニング手法を提案する。 これにより、問題のサイズを連続的に削減でき、最終的に学習したモデルの精度を犠牲にすることなく、計算コストを大幅に節約することができる。 本手法は, 静的スクリーニング法において, 静的スクリーニング法において, 強い凸性と複雑な構造を慎重に探索し, 活用することにより, 二重最適推定手法を導入する最初のスクリーニング手法である。 このようにして、静的および動的スクリーニングメソッドの利点を吸収し、それらの欠点を避けることができる。 我々の推定は、双対性ギャップに基づいて開発されたものよりもずっと正確で、より強力なスクリーニング規則に寄与する。 さらに,本手法は,スパースCRFや構造予測モデルにおいて,最初のスクリーニング手法でもある。 合成および実世界の両方のデータセットに対する実験結果から,本手法による高速化が重要であることが示された。

関連論文リスト

• The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
  本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
  論文  参考訳（メタデータ） (2024-07-30T17:03:19Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Real-Time Adaptive Safety-Critical Control with Gaussian Processes in High-Order Uncertain Models [14.790031018404942]
  本稿では,不確実なパラメータを持つシステムを対象とした適応型オンライン学習フレームワークを提案する。 まず,差分スパースGPアルゴリズムを改良するために,まず忘れ係数を積分する。 第2フェーズでは,高次制御バリア関数に基づく安全フィルタを提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:25:32Z)
• Nonconvex Robust High-Order Tensor Completion Using Randomized Low-Rank Approximation [29.486258609570545]
  2つの効率的な低ランク近似手法は、まず高出力(d >= 3) T-SVD フレームワークで考案される。 提案手法は,計算効率と推定精度の両方の観点から,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-19T07:51:36Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Efficient falsification approach for autonomous vehicle validation using a parameter optimisation technique based on reinforcement learning [6.198523595657983]
  自律走行車(AV)の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているように見える。 交通参加者とダイナミックワールドの行動の不確実性は、先進的な自律システムにおいて反応を引き起こす。 本稿では,システム・アンダー・テストを評価するための効率的なファルシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T02:56:13Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。