論文の概要: Kronecker-factored Approximate Curvature (KFAC) From Scratch

• arxiv url: http://arxiv.org/abs/2507.05127v1
• Date: Tue, 01 Jul 2025 15:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.488128
• Title: Kronecker-factored Approximate Curvature (KFAC) From Scratch
• Title（参考訳）: Kronecker-factored Approximate Curvature (KFAC) from Scratch (英語)
• Authors: Felix Dangel, Bálint Mucsányi, Tobias Weber, Runa Eschenhagen,
• Abstract要約: このチュートリアルは、Kronecker-factored approximate curvature (KFAC)の基盤となる紹介である。 数学とコードを並べて提供し、KFACに関する最新の洞察に基づいたテストケースを提供する。
• 参考スコア（独自算出の注目度）: 4.389123177083446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kronecker-factored approximate curvature (KFAC) is arguably one of the most prominent curvature approximations in deep learning. Its applications range from optimization to Bayesian deep learning, training data attribution with influence functions, and model compression or merging. While the intuition behind KFAC is easy to understand, its implementation is tedious: It comes in many flavours, has common pitfalls when translating the math to code, and is challenging to test, which complicates ensuring a properly functioning implementation. Some of the authors themselves have dealt with these challenges and experienced the discomfort of not being able to fully test their code. Thanks to recent advances in understanding KFAC, we are now able to provide test cases and a recipe for a reliable KFAC implementation. This tutorial is meant as a ground-up introduction to KFAC. In contrast to the existing work, our focus lies on providing both math and code side-by-side and providing test cases based on the latest insights into KFAC that are scattered throughout the literature. We hope this tutorial provides a contemporary view of KFAC that allows beginners to gain a deeper understanding of this curvature approximation while lowering the barrier to its implementation, extension, and usage in practice.
• Abstract（参考訳）: クロネッカー型近似曲率(KFAC)は、深層学習において最も顕著な曲率近似の一つである。 その応用は最適化からベイズ深層学習、影響関数によるデータ属性のトレーニング、モデル圧縮やマージまで様々である。 KFACの背景にある直感は理解しやすいが、実装は面倒である: 多くの風味があり、数学をコードに変換する際に共通の落とし穴があり、テストが難しい。 一部の著者は、これらの課題に対処し、コードを完全にテストできないという不快感を経験しています。 KFACの理解の最近の進歩により、信頼性の高いKFAC実装のためのテストケースとレシピを提供できるようになった。 このチュートリアルは、KFACの基盤となる紹介である。 既存の作業とは対照的に、我々は、数学とコードの両方を並べて提供し、文献全体に散在するKFACに関する最新の洞察に基づいたテストケースを提供することに重点を置いています。 このチュートリアルがKFACの現代的ビューを提供し、初心者がこの曲率近似をより深く理解し、実装や拡張、利用の障壁を低くすることができることを願っている。

関連論文リスト

• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph Completion [69.55700751102376]
  FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。 既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。 本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
  論文  参考訳（メタデータ） (2023-04-17T11:42:28Z)
• QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning [6.555832619920502]
  QLABGradと呼ばれる新しい学習率適応方式を提案する。 QLABGradは、所定の勾配降下方向に対して、Quadratic Loss Approximation-Based (QLAB)関数を最適化することにより、学習率を自動的に決定する。
  論文  参考訳（メタデータ） (2023-02-01T05:29:10Z)
• Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates [0.0]
  K因子の指数平均構成パラダイムを活用し、オンライン数値線形代数手法を用いる。 そこで我々は,K因子逆更新法を提案し,層サイズを線形にスケールする。 また,線形にスケールする逆応用手法を提案する。
  論文  参考訳（メタデータ） (2022-10-16T09:41:23Z)
• FARE: Provably Fair Representation Learning with Practical Certificates [9.242965489146398]
  FARE(FARE)は,実用的公平性証明を備えたFRL法である。 FAREは,エンコーダの表現空間を制限することで,現実的な保証の導出を可能にするという重要な知見に基づいている。 FAREは、厳密で、純粋に経験的な結果に匹敵する、実用的な証明書を生成する。
  論文  参考訳（メタデータ） (2022-10-13T17:40:07Z)
• Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
  半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。 本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
  論文  参考訳（メタデータ） (2022-06-13T02:16:26Z)
• Gradient Descent on Neurons and its Link to Approximate Second-Order Optimization [0.913755431537592]
  Kronecker-Factored, block-diagonal curvature estimates (KFAC) は真の2次更新よりも有意に優れていることを示す。 また、KFACは重みよりも勾配降下を行う一階勾配アルゴリズムを近似することを示した。
  論文  参考訳（メタデータ） (2022-01-28T17:06:26Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)
• An iterative K-FAC algorithm for Deep Learning [0.0]
  K-FACの鍵は、フィッシャー情報行列(FIM)をブロック対角行列として近似することであり、各ブロックはクロネッカー因子の逆である。 本稿では,新しい反復K-FACアルゴリズムであるCG-FACを紹介する。 我々は,繰り返しCG-FACの時間とメモリの複雑さが,通常のK-FACアルゴリズムよりもはるかに小さいことを証明した。
  論文  参考訳（メタデータ） (2021-01-01T12:04:01Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。