論文の概要: A family of spectral conjugate gradient algorithms derived by least-squares approximations based on a modified quasi--Newton update with application to a revised robust binary classification model

• arxiv url: http://arxiv.org/abs/2609.13526v1
• Date: Fri, 11 Sep 2026 20:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.376523
• Title: A family of spectral conjugate gradient algorithms derived by least-squares approximations based on a modified quasi--Newton update with application to a revised robust binary classification model
• Title（参考訳）: 修正準位に基づく最小二乗近似によるスペクトル共役勾配アルゴリズムの一家系-ニュートン更新と改訂されたロバストな二項分類モデルへの応用
• Abstract要約: 我々は古典的ヘステイン-スティエフェル共役勾配アルゴリズムのスペクトル3項修正を開発する。 修正されたセカント方程式をどのように抽出するかを議論し、メモリレスなBFGS更新式を生成する。 このアルゴリズムを他の3つの共役勾配アルゴリズムと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a spectral three-term modification of the classic Hestenes--Stiefel conjugate gradient algorithm, preserving its anti-jamming characteristic and, simultaneously, taking care of the sufficient descent property. We discuss how a modified secant equation can be extracted from our modification scheme, yielding a memoryless BFGS updating formula. Then, the spectral parameter of our method is obtained by steering its direction toward the given BFGS direction within a least-squares context. Using our technical improvements, we outline the general framework of our algorithm and discuss its theoretical features, including the descent and convergence properties, without the convexity assumption. We put our algorithm to the test in comparison with the three other conjugate gradient algorithms on a set of CUTEr unconstrained optimization test models, comparing the outputs using the Dolan--More measure. Next, we provide a concise evaluation of the results, highlighting the practical advantages of our algorithm. As a real-world case study, we introduce a reduced quadratic surface SVM with the rescaled loss for robust binary classification and apply the proposed algorithm to assess its accuracy and training time against several other SVMs.
• Abstract（参考訳）: 我々は,古典的ヘステイン-スティエフェル共役勾配アルゴリズムのスペクトル3項修正を開発し,そのアンチジャミング特性を保存し,同時に十分な降下特性の処理を行う。 修正されたセカント方程式をどのように抽出するかを議論し、メモリレスなBFGS更新式を生成する。 そこで,本手法のスペクトルパラメータは,最小二乗文脈内で,与えられたBFGS方向に向かって方向を制御することによって得られる。 技術的改善を生かして,我々のアルゴリズムの一般的な枠組みを概説し,凸性仮定を伴わずに降下・収束特性を含む理論的特徴について考察する。 本研究では,CUTErの非制約最適化テストモデルに対して,他の3つの共役勾配アルゴリズムとの比較を行い,ドラン-モレ測度を用いて出力を比較した。 次に,結果の簡潔な評価を行い,アルゴリズムの実用的利点を強調した。 実世界のケーススタディとして、ロバストなバイナリ分類のための再スケールロスを伴う2次曲面SVMを導入し、提案アルゴリズムを適用して、他の複数のSVMに対して精度とトレーニング時間を評価する。

関連論文リスト

• SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems [27.21342746802453]
  本稿では,非線形最小二乗問題に対する新しい最適化アルゴリズムを提案する。 この方法は、ジャコビアンの特異値分解(SVD)を用いて勾配降下方向をプレコンディションすることで導出される。 提案手法の標準正則性仮定の下での局所線形収束を確立し、適切な条件下でアルゴリズムの修正版に対する大域収束を証明した。
  論文  参考訳（メタデータ） (2026-02-07T18:53:00Z)
• A Triple-Inertial Accelerated Alternating Optimization Method for Deep Learning Training [3.246129789918632]
  勾配降下法(SGD)アルゴリズムは、ディープラーニングモデルのトレーニングにおいて顕著な成功を収めた。 モデルトレーニングの有望な代替手段として、交代最小化(AM)メソッドが登場した。 本稿では,ニューラルネットワークトレーニングのための新しいTriple-Inertial Accelerated Alternating Minimization(TIAM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-11T14:42:17Z)
• Regularized Projection Matrix Approximation with Applications to Community Detection [1.3761665705201904]
  本稿では,アフィニティ行列からクラスタ情報を復元するための正規化プロジェクション行列近似フレームワークを提案する。 3つの異なるペナルティ関数について検討し, それぞれが有界, 正, スパースシナリオに対応するように調整した。 合成および実世界の両方のデータセットで行った数値実験により、我々の正規化射影行列近似アプローチはクラスタリング性能において最先端の手法を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-26T15:18:22Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Optimization of Graph Total Variation via Active-Set-based Combinatorial Reconditioning [48.42916680063503]
  本稿では,この問題クラスにおける近位アルゴリズムの適応型事前条件付け手法を提案する。 不活性エッジのネスト・フォレスト分解により局所収束速度が保証されることを示す。 この結果から,局所収束解析は近似アルゴリズムにおける可変指標選択の指針となることが示唆された。
  論文  参考訳（メタデータ） (2020-02-27T16:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。