論文の概要: On the Convergence of Semi Unsupervised Calibration through Prior Adaptation Algorithm

• arxiv url: http://arxiv.org/abs/2401.03051v1
• Date: Fri, 5 Jan 2024 20:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:47:07.011932
• Title: On the Convergence of Semi Unsupervised Calibration through Prior Adaptation Algorithm
• Title（参考訳）: 事前適応アルゴリズムによる半教師なし校正の収束について
• Authors: Lautaro Estienne, Roberta Hansen, Matias Vera, Luciana Ferrer, Pablo Piantanida
• Abstract要約: Semi Unsupervised through Prior Adaptation (SUCPA)は、大規模言語モデルで使用される校正アルゴリズムである。 我々はこのアルゴリズムのいくつかの収束特性を力学系の観点から証明する。
• 参考スコア（独自算出の注目度）: 33.54107934148996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Calibration is an essential key in machine leaning. Semi Unsupervised Calibration through Prior Adaptation (SUCPA) is a calibration algorithm used in (but not limited to) large-scale language models defined by a {system of first-order difference equation. The map derived by this system} has the peculiarity of being non-hyperbolic {with a non-bounded set of non-isolated fixed points}. In this work, we prove several convergence properties of this algorithm from the perspective of dynamical systems. For a binary classification problem, it can be shown that the algorithm always converges, {more precisely, the map is globally asymptotically stable, and the orbits converge} to a single line of fixed points. Finally, we perform numerical experiments on real-world application to support the presented results. Experiment codes are available online.
• Abstract（参考訳）: キャリブレーションは機械の傾きの重要な鍵である。 sucpa(semi unsupervised calibration through prior adaptation)は、一階差分方程式系によって定義される大規模言語モデルで用いられるキャリブレーションアルゴリズムである。 この系によって導かれる写像は、非双曲的(non-hyperbolic) {with a non-bounded set of non-isolated fixed points} という特異性を持つ。 本研究では,このアルゴリズムのいくつかの収束特性を力学系の観点から証明する。 二項分類問題に対して、アルゴリズムは常に収束し、より正確には、写像は全世界的に漸近的に安定であり、軌道は固定点の1つの直線に収束することを示すことができる。 最後に,実世界の応用に関する数値実験を行い,提案した結果をサポートする。 実験コードはオンラインで入手できる。

関連論文リスト

• Hybrid Top-Down Global Causal Discovery with Local Search for Linear and Nonlinear Additive Noise Models [2.0738462952016232]
  関数因果モデルに基づく手法は、ユニークなグラフを識別することができるが、次元性の呪いや強いパラメトリックな仮定を課すことに苦しむ。 本研究では,局所的な因果構造を利用した観測データにおけるグローバル因果発見のための新しいハイブリッド手法を提案する。 我々は, 合成データに対する実証的な検証を行い, 正確性および最悪の場合の時間複雑度を理論的に保証する。
  論文  参考訳（メタデータ） (2024-05-23T12:28:16Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance [0.0]
  本稿では,重球法,ネステロフ加速勾配法(S-NAG),広く使用されているアダム法など,勾配勾配勾配のいくつかの変種を統一する一般最適化手法について検討する。 この回避は、非自明な常微分方程式のノイズ離散化として研究される。
  論文  参考訳（メタデータ） (2020-12-07T19:14:49Z)
• Sample Complexity Bounds for Two Timescale Value-based Reinforcement Learning Algorithms [65.09383385484007]
  2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。 本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
  論文  参考訳（メタデータ） (2020-11-10T11:36:30Z)
• Convergence of Online Adaptive and Recurrent Optimization Algorithms [0.0]
  我々は、機械学習で使用されるいくつかの顕著な降下アルゴリズムの局所収束を証明した。 我々は確率的視点ではなく「エルゴディック」を採用し、確率分布の代わりに経験的な時間平均で作業する。
  論文  参考訳（メタデータ） (2020-05-12T09:48:52Z)
• Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach [18.93565942407577]
  Sparse Canonical correlation analysis (CCA) はスパース構造を用いた潜伏情報検出に有用な統計ツールである。 本稿では,多視点データとスパース構造との潜在関係を検出可能な一般標準相関解析(GCCA)を提案する。
  論文  参考訳（メタデータ） (2020-04-23T05:53:48Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。