論文の概要: Approximation-Generalization Trade-offs under (Approximate) Group Equivariance

• arxiv url: http://arxiv.org/abs/2305.17592v1
• Date: Sat, 27 May 2023 22:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:09:06.879513
• Title: Approximation-Generalization Trade-offs under (Approximate) Group Equivariance
• Title（参考訳）: 近似同値(近似)群の近似一般化トレードオフ
• Authors: Mircea Petrache, Shubhendu Trivedi
• Abstract要約: グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
• 参考スコア（独自算出の注目度）: 3.0458514384586395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The explicit incorporation of task-specific inductive biases through symmetry has emerged as a general design precept in the development of high-performance machine learning models. For example, group equivariant neural networks have demonstrated impressive performance across various domains and applications such as protein and drug design. A prevalent intuition about such models is that the integration of relevant symmetry results in enhanced generalization. Moreover, it is posited that when the data and/or the model may only exhibit $\textit{approximate}$ or $\textit{partial}$ symmetry, the optimal or best-performing model is one where the model symmetry aligns with the data symmetry. In this paper, we conduct a formal unified investigation of these intuitions. To begin, we present general quantitative bounds that demonstrate how models capturing task-specific symmetries lead to improved generalization. In fact, our results do not require the transformations to be finite or even form a group and can work with partial or approximate equivariance. Utilizing this quantification, we examine the more general question of model mis-specification i.e. when the model symmetries don't align with the data symmetries. We establish, for a given symmetry group, a quantitative comparison between the approximate/partial equivariance of the model and that of the data distribution, precisely connecting model equivariance error and data equivariance error. Our result delineates conditions under which the model equivariance error is optimal, thereby yielding the best-performing model for the given task and data.
• Abstract（参考訳）: 対称性によるタスク固有の帰納バイアスの明示的な取り込みは、高性能機械学習モデルの開発における一般的な設計規範として現れている。 例えば、グループ同変ニューラルネットワークは、タンパク質や薬物設計のような様々なドメインやアプリケーションで印象的なパフォーマンスを示している。 そのようなモデルに関する一般的な直観は、関連する対称性の統合が一般化を促進することである。 さらに、データおよび/またはモデルが$\textit{approximate}$または$\textit{partial}$対称性しか持たない場合、最適または最良の性能モデルは、モデル対称性がデータ対称性と整合するものであると仮定される。 本稿では,これらの直観の形式的統一的な調査を行う。 まず、タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す一般的な量的境界を示す。 実際、我々の結果は変換が有限であることや群を形成する必要はなく、偏等式や近似等式で作用することができる。 この定量化を利用して、モデルミス特定のより一般的な問題、すなわちモデル対称性がデータ対称性と一致しない場合を検討する。 与えられた対称性群に対して,モデルの近似/偏同分散とデータ分布との定量的比較を行い,モデル同分散誤差とデータ同分散誤差を精度良く結びつけた。 その結果、モデル等分散誤差が最適である条件を記述し、与えられたタスクとデータに対して最適なモデルが得られる。

関連論文リスト

• Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
  実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。 我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
  論文  参考訳（メタデータ） (2024-10-02T05:14:28Z)
• A Generative Model of Symmetry Transformations [44.87295754993983]
  我々はデータの近似対称性を明示的に捉えることを目的とした生成モデルを構築した。 我々は、アフィンおよび色変換の下で対称性を捕捉する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2024-03-04T11:32:18Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Nonparametric Functional Analysis of Generalized Linear Models Under Nonlinear Constraints [0.0]
  本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。 これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。 これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
  論文  参考訳（メタデータ） (2021-10-11T04:49:59Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。