Fugu-MT 論文翻訳(概要): Provably Strict Generalisation Benefit for Equivariant Models

論文の概要: Provably Strict Generalisation Benefit for Equivariant Models

arxiv url: http://arxiv.org/abs/2102.10333v1
Date: Sat, 20 Feb 2021 12:47:32 GMT
ステータス: 処理完了
システム内更新日: 2021-02-24 10:47:32.497571
Title: Provably Strict Generalisation Benefit for Equivariant Models
Title（参考訳）: 等価モデルに対する厳密一般化のメリット
Authors: Bryn Elesedy and Sheheryar Zaidi
Abstract要約: 不変/等価であるモデルのエンジニアリングは一般化を改善すると広く信じられている。本稿では,不変/等価モデルに対する一般化における最初の非ゼロ改善について述べる。
参考スコア（独自算出の注目度）: 1.332560004325655
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It is widely believed that engineering a model to be invariant/equivariant improves generalisation. Despite the growing popularity of this approach, a precise characterisation of the generalisation benefit is lacking. By considering the simplest case of linear models, this paper provides the first provably non-zero improvement in generalisation for invariant/equivariant models when the target distribution is invariant/equivariant with respect to a compact group. Moreover, our work reveals an interesting relationship between generalisation, the number of training examples and properties of the group action. Our results rest on an observation of the structure of function spaces under averaging operators which, along with its consequences for feature averaging, may be of independent interest.
Abstract（参考訳）: 不変/等価であるモデルのエンジニアリングは一般化を改善すると広く信じられている。このアプローチの人気は高まっているが、一般化の利点の正確な特徴付けが欠けている。線形モデルの最も単純な場合を考えることで、対象分布がコンパクト群に対して不変/同変であるとき、不変/同変モデルの一般化における最初の証明可能な非零改善を提供する。さらに, 一般化, 訓練例数, 集団行動の性質との間には興味深い関係があることを明らかにした。その結果、平均作用素の下での関数空間の構造を観測し、特徴平均化の結果とともに独立な関心事となる。

関連論文リスト

Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Domain Generalization In Robust Invariant Representation [10.132611239890345]
本稿では,分布外データに基づく不変表現の一般化について検討する。不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
論文参考訳（メタデータ） (2023-04-07T00:58:30Z)
Generalized Invariant Matching Property via LASSO [19.786769414376323]
本研究では,内在空間の高次元問題を定式化することにより,不変マッチング特性を一般化する。本稿では,Lassoの変種を利用して,より堅牢で計算効率の良いアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-14T21:09:30Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
A PAC-Bayesian Generalization Bound for Equivariant Networks [15.27608414735815]
我々は、同変ネットワークに対するノルムベースのPAC-ベイジアン一般化境界を導出する。境界は、群のサイズ、および一般化誤差に対する可約表現の多重度と次数の影響を特徴づける。一般に、モデルにおけるより大きなグループサイズを用いることで、広範な数値実験によって証明された一般化誤差が向上することを示す。
論文参考訳（メタデータ） (2022-10-24T12:07:03Z)
Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文参考訳（メタデータ） (2022-07-05T14:55:16Z)
An Invariant Matching Property for Distribution Generalization under Intervened Response [19.786769414376323]
特定の特徴の推定値を追加の予測子として組み込むことにより、新しい不変性を示す。本稿では,線形マッチングの明示的な特徴と,様々な介入条件下でのシミュレーション結果について述べる。
論文参考訳（メタデータ） (2022-05-18T18:25:21Z)
LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文参考訳（メタデータ） (2020-12-20T11:02:49Z)
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文参考訳（メタデータ） (2020-07-06T17:21:24Z)
Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
論文参考訳（メタデータ） (2020-04-25T18:54:37Z)
Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。