論文の概要: The Lie-Group Bayesian Learning Rule

• arxiv url: http://arxiv.org/abs/2303.04397v1
• Date: Wed, 8 Mar 2023 06:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 15:02:19.276418
• Title: The Lie-Group Bayesian Learning Rule
• Title（参考訳）: リー群ベイズ学習規則
• Authors: Eren Mehmet K{\i}ral, Thomas M\"ollenhoff, Mohammad Emtiyaz Khan
• Abstract要約: Bayesian Learning Ruleは汎用アルゴリズム設計のためのフレームワークを提供するが、3つの理由から使うのは難しい。 任意の基底分布の変換によって後続がパラメータ化されるようなリー群に基づく拡張を提案する。 我々は,この新たな学習規則を用いて,生物学的に有望な属性を持つ深層学習のアルゴリズムを導出し,スパースな特徴を学習する。
• 参考スコア（独自算出の注目度）: 15.058161307401864
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Bayesian Learning Rule provides a framework for generic algorithm design but can be difficult to use for three reasons. First, it requires a specific parameterization of exponential family. Second, it uses gradients which can be difficult to compute. Third, its update may not always stay on the manifold. We address these difficulties by proposing an extension based on Lie-groups where posteriors are parametrized through transformations of an arbitrary base distribution and updated via the group's exponential map. This simplifies all three difficulties for many cases, providing flexible parametrizations through group's action, simple gradient computation through reparameterization, and updates that always stay on the manifold. We use the new learning rule to derive a new algorithm for deep learning with desirable biologically-plausible attributes to learn sparse features. Our work opens a new frontier for the design of new algorithms by exploiting Lie-group structures.
• Abstract（参考訳）: ベイズ学習規則は汎用アルゴリズム設計のフレームワークを提供するが、3つの理由により使用が困難である。 まず、指数関数ファミリーの特定のパラメータ化が必要である。 第二に、計算が難しい勾配を用いる。 第三に、更新は常に多様体上にとどまるとは限らない。 我々は、任意の基底分布の変換を通して後続がパラメータ化され、群の指数写像を介して更新されるリー群に基づく拡張を提案することで、これらの困難に対処する。 これは多くの場合の3つの困難を単純化し、群の作用による柔軟なパラメトリゼーション、再パラメータ化による単純な勾配計算、および常に多様体上に存在する更新を提供する。 我々は,この新たな学習規則を用いて,生物学的に有望な属性を持つ深層学習のアルゴリズムを導き,スパースの特徴を学習する。 我々の研究は、リー群構造を利用した新しいアルゴリズムの設計の新たなフロンティアを開く。

関連論文リスト

• The Lattice Overparametrization Paradigm for the Machine Learning of Lattice Operators [0.0]
  本稿では,格子内の要素を介してクラスを過度にパラメータ化することにより,格子内の関数を最小化するアルゴリズムを適用する学習パラダイムについて論じる。 この学習パラダイムには、制御、透明性、解釈可能性という、ニューラルネットワークに基づく現代的な手法に欠けている3つの特性がある。
  論文  参考訳（メタデータ） (2023-10-10T14:00:03Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
  近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。 ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。 一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。 本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:28Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Learning to Minimize the Remainder in Supervised Learning [37.481538167715755]
  本研究では、過去の学習から学んだ知識を活用し、勾配を調整するための新しい学習手法、すなわち、勾配調整学習(GAL)を提案する。 提案したGALはモデルと非依存であり,標準学習フレームワークへの適応が容易である。 実験の結果,提案したGALは連続的に評価モデルを強化し,アブレーション実験はGALの様々な側面を検証した。
  論文  参考訳（メタデータ） (2022-01-23T06:31:23Z)
• Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces [4.829821142951709]
  構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 標準的な学習手法は、潜伏変数をアルゴリズム出力として定義し、訓練に微分可能な代理語を使用することである。 我々は、Gumbel-Maxトリックを拡張して、構造化領域上の分布を定義する。
  論文  参考訳（メタデータ） (2021-10-28T12:46:10Z)
• Tractable structured natural gradient descent using local parameterizations [43.51581051770027]
  構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。 我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。 我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
  論文  参考訳（メタデータ） (2021-02-15T09:09:20Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)
• Handling the Positive-Definite Constraint in the Bayesian Learning Rule [33.87717973872535]
  ベイズ学習規則 (Bayes learning rule) は自然段階的な変分推論法である。 変動パラメータがオープンな制約セットにある場合、ルールは制約を満たすことができず、アルゴリズムを遅くする線探索を必要とする。 我々の研究は、パラメータ空間における正定値制約の存在下での規則の適用を容易にする。
  論文  参考訳（メタデータ） (2020-02-24T03:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。