論文の概要: Symmetry and Generalisation in Machine Learning

• arxiv url: http://arxiv.org/abs/2501.03858v1
• Date: Tue, 07 Jan 2025 15:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:39.409827
• Title: Symmetry and Generalisation in Machine Learning
• Title（参考訳）: 機械学習における対称性と一般化
• Authors: Hayder Elesedy,
• Abstract要約: 等変でない任意の予測器に対して、全ての回帰問題に対するテストリスクが厳格に低い同変予測器が存在することを示す。 我々は別の視点を採用し、不変モデルによる学習が軌道代表者の問題に還元されるという共通の直観を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work is about understanding the impact of invariance and equivariance on generalisation in supervised learning. We use the perspective afforded by an averaging operator to show that for any predictor that is not equivariant, there is an equivariant predictor with strictly lower test risk on all regression problems where the equivariance is correctly specified. This constitutes a rigorous proof that symmetry, in the form of invariance or equivariance, is a useful inductive bias. We apply these ideas to equivariance and invariance in random design least squares and kernel ridge regression respectively. This allows us to specify the reduction in expected test risk in more concrete settings and express it in terms of properties of the group, the model and the data. Along the way, we give examples and additional results to demonstrate the utility of the averaging operator approach in analysing equivariant predictors. In addition, we adopt an alternative perspective and formalise the common intuition that learning with invariant models reduces to a problem in terms of orbit representatives. The formalism extends naturally to a similar intuition for equivariant models. We conclude by connecting the two perspectives and giving some ideas for future work.
• Abstract（参考訳）: この研究は、教師付き学習における不変性と同値が一般化に与える影響を理解することを目的としている。 平均演算子から得られる視点を用いて、同変でない任意の予測子に対して、同変が正しく指定されたすべての回帰問題に対して、厳密に低いテストリスクを持つ同変予測子が存在することを示す。 これは、対称性が不変あるいは同値の形で、有用な帰納的バイアスであるという厳密な証明を構成する。 ランダム設計最小二乗とカーネルリッジ回帰の等分散と不変性にこれらのアイデアを適用する。 これにより、より具体的な設定で期待されるテストリスクの低減を指定し、グループ、モデル、データの特性の観点から表現することができます。 その過程で、同変予測器の解析における平均演算子アプローチの有用性を示す実例と追加結果を与える。 さらに、別の視点を採用し、不変モデルによる学習が軌道代表者の問題に還元されるという共通の直観を定式化する。 形式主義は自然に同変モデルに対する同様の直観にまで拡張する。 2つの視点を結び付けて、将来の作業にいくつかのアイデアを提供することで、私たちは結論付けます。

関連論文リスト

• Equivariant score-based generative models provably learn distributions with symmetries efficiently [7.90752151686317]
  実験的な研究により、対称性を生成モデルに組み込むことで、より優れた一般化とサンプリング効率が得られることが示されている。 我々は,ある群対称性に対して不変な分布を学習するためのスコアベース生成モデル(SGM)の最初の理論的解析と保証を提供する。
  論文  参考訳（メタデータ） (2024-10-02T05:14:28Z)
• Almost Equivariance via Lie Algebra Convolutions [0.0]
  ほぼ同値の定義を提供し、それをモデルで符号化する実践的な方法を与える。 具体的には、リー代数の畳み込みを定義し、それらがリー群畳み込みに対していくつかの利点を提供することを示す。 2つの存在定理を証明し、1つは多様体の等距離の有界距離におけるほぼ等距離の存在を示し、もう1つはヒルベルト空間の逆を示す。
  論文  参考訳（メタデータ） (2023-10-19T21:31:11Z)
• Approximation-Generalization Trade-offs under (Approximate) Group Equivariance [3.0458514384586395]
  グループ同変ニューラルネットワークは、タンパク質や薬物の設計など、様々な分野や応用において印象的な性能を示している。 タスク固有の対称性を捉えるモデルが一般化にどう貢献するかを示す。 モデル対称性がデータ対称性と一致しない場合のモデルミス特定に関するより一般的な問題について検討する。
  論文  参考訳（メタデータ） (2023-05-27T22:53:37Z)
• Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance [72.50214227616728]
  解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。 特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
  論文  参考訳（メタデータ） (2023-04-13T17:59:03Z)
• Equivariant Disentangled Transformation for Domain Generalization under Combination Shift [91.38796390449504]
  ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。 我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
  論文  参考訳（メタデータ） (2022-08-03T12:31:31Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。