論文の概要: Minimizing L1 over L2 norms on the gradient

• arxiv url: http://arxiv.org/abs/2101.00809v1
• Date: Mon, 4 Jan 2021 07:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 07:17:07.996710
• Title: Minimizing L1 over L2 norms on the gradient
• Title（参考訳）: 勾配上のL2ノルム上のL1最小化
• Authors: Chao Wang, Min Tao, Chen-Nee Chuah, James Nagy, Yifei Lou
• Abstract要約: L1/L2 が L1 ノルムよりも優れていることを,L0 ノルムを近似してスパーシティを促進する場合に提案する。 いくつかの最近の研究では L1/L2 が L1 ノルムよりも優れていることが実証されている。
• 参考スコア（独自算出の注目度）: 7.219038594610854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the L1/L2 minimization on the gradient for imaging applications. Several recent works have demonstrated that L1/L2 is better than the L1 norm when approximating the L0 norm to promote sparsity. Consequently, we postulate that applying L1/L2 on the gradient is better than the classic total variation (the L1 norm on the gradient) to enforce the sparsity of the image gradient. To verify our hypothesis, we consider a constrained formulation to reveal empirical evidence on the superiority of L1/L2 over L1 when recovering piecewise constant signals from low-frequency measurements. Numerically, we design a specific splitting scheme, under which we can prove the subsequential convergence for the alternating direction method of multipliers (ADMM). Experimentally, we demonstrate visible improvements of L1/L2 over L1 and other nonconvex regularizations for image recovery from low-frequency measurements and two medical applications of MRI and CT reconstruction. All the numerical results show the efficiency of our proposed approach.
• Abstract（参考訳）: 本稿では,画像用勾配のl1/l2最小化について検討する。 いくつかの最近の研究により、L1/L2はL0ノルムを近似して疎性を促進する際にL1ノルムよりも優れていることが示されている。 したがって、画像勾配にl1/l2を適用することは、画像勾配のスパーシティを強制する古典的な全変動(勾配上のl1ノルム)よりも良いと仮定する。 この仮説を検証するために,L1/L2のL1に対する優位性に関する実証的な証拠を,低周波測定から断片的定値信号の復元に用いた。 数値解析により,乗算器の交互方向法 (ADMM) の逐次収束性を証明できる特定の分割方式を設計する。 実験的に,低周波計測による画像回復のためのL1/L2および他の非凸正則化の可視的改善とMRIとCTの2つの医学的応用を示した。 すべての数値結果は,提案手法の有効性を示す。

関連論文リスト

• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Scaling Law with Learning Rate Annealing [4.121865876406014]
  ニューラルネットワークモデルのクロスエントロピー損失曲線は、学習速度(LR)がトレーニングステップを上回り、スケーリング法則に準拠している。 LRアニールによるスケーリング法則の適用により、学習速度(LRS)の任意のステップにおける損失を正確に予測することができる。
  論文  参考訳（メタデータ） (2024-08-20T17:30:48Z)
• Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models [84.78513908768011]
  MRA(Mixture-of-Resolution Adaptation)と呼ばれるMLLMの新規かつ効率的な手法を提案する。 MRAは解像度の異なる画像に対して2つの視覚経路を採用し、高解像度の視覚情報を低解像度の経路に埋め込む。 MRAを検証するために、LLaVAと呼ばれる最近のMLLMに適用し、新しいモデルLLaVA-HRと呼ぶ。
  論文  参考訳（メタデータ） (2024-03-05T14:31:24Z)
• Deep Learning-Based Correction and Unmixing of Hyperspectral Images for Brain Tumor Surgery [0.0]
  修正とアンミックスのための2つの深層学習モデルを提案する。 1つはプロトポルフィリンIX(PpIX)濃度ラベルで訓練されている。 他方は半教師ありの訓練を受け、まずハイパースペクトルを解き放つ自己教師を学習し、続いて蛍光スペクトルの補正を学習する。
  論文  参考訳（メタデータ） (2024-02-06T07:04:35Z)
• Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
  大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。 本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。 OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
  論文  参考訳（メタデータ） (2023-10-08T14:22:58Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Sample-efficient L0-L2 constrained structure learning of sparse Ising models [3.056751497358646]
  スパースイジングモデルの基盤となるグラフを$n$ i.i.d.サンプルから$p$ノードで学習する問題を考察する。 濃度制約 L0 ノルムを有効に利用し、このノルムを L2 ノルムと組み合わせて非零係数をモデル化する。
  論文  参考訳（メタデータ） (2020-12-03T07:52:20Z)
• Learning to Match Distributions for Domain Adaptation [116.14838935146004]
  本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。 公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
  論文  参考訳（メタデータ） (2020-07-17T03:26:13Z)
• Limited-angle CT reconstruction via the L1/L2 minimization [4.276675330854271]
  CT (Computerd tomography) 再構成において, リミテッドアングル走査問題に対する勾配のL1/L2項の最小化を検討する。 我々は,乗算器の交互方向法が収束を保証できるように,制約のない最適化モデルのための特定の分割フレームワークを設計する。
  論文  参考訳（メタデータ） (2020-05-31T20:22:30Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。