論文の概要: Learning with Exact Invariances in Polynomial Time

• arxiv url: http://arxiv.org/abs/2502.19758v1
• Date: Thu, 27 Feb 2025 04:49:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:40.352652
• Title: Learning with Exact Invariances in Polynomial Time
• Title（参考訳）: 多項式時間における厳密な不変性による学習
• Authors: Ashkan Soleymani, Behrooz Tahmasebi, Stefanie Jegelka, Patrick Jaillet,
• Abstract要約: 本稿では,カーネル回帰を用いて,正確な不変性(あるいは対称性)を学習するための統計的・計算的トレードオフについて検討する。 提案手法は,元のカーネル回帰問題と同じ過大な集団リスクを実現する。
• 参考スコア（独自算出の注目度）: 43.81087760363805
• License:
• Abstract: We study the statistical-computational trade-offs for learning with exact invariances (or symmetries) using kernel regression. Traditional methods, such as data augmentation, group averaging, canonicalization, and frame-averaging, either fail to provide a polynomial-time solution or are not applicable in the kernel setting. However, with oracle access to the geometric properties of the input space, we propose a polynomial-time algorithm that learns a classifier with \emph{exact} invariances. Moreover, our approach achieves the same excess population risk (or generalization error) as the original kernel regression problem. To the best of our knowledge, this is the first polynomial-time algorithm to achieve exact (not approximate) invariances in this context. Our proof leverages tools from differential geometry, spectral theory, and optimization. A key result in our development is a new reformulation of the problem of learning under invariances as optimizing an infinite number of linearly constrained convex quadratic programs, which may be of independent interest.
• Abstract（参考訳）: 本稿では,カーネル回帰を用いて,正確な不変性(あるいは対称性)を学習するための統計的・計算的トレードオフについて検討する。 データ拡張、グループ平均化、標準化、フレーム拡張といった従来の手法は、多項式時間ソリューションの提供に失敗するか、カーネル設定には適用できない。 しかし,入力空間の幾何学的性質へのオラクルアクセスを伴って,<emph{exact}不変量を持つ分類器を学習する多項式時間アルゴリズムを提案する。 さらに,本手法は,元のカーネル回帰問題と同じ過大な集団リスク(あるいは一般化誤差)を達成する。 我々の知る限りでは、これはこの文脈で正確な(近似しない)不変性を達成する最初の多項式時間アルゴリズムである。 我々の証明は、微分幾何学、スペクトル理論、最適化からツールを活用する。 私たちの開発における重要な成果は、無限個の線形制約付き凸二次プログラムを最適化するなど、不変条件下での学習問題の新たな再構成である。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Progressive Batching for Efficient Non-linear Least Squares [31.082253632197023]
  ガウス・ニュートンの基本的な改良のほとんどは、基礎となる問題構造の空間性を保証するか、あるいは活用して計算速度を上げることである。 我々の研究は、機械学習と統計の両方からアイデアを借用し、収束を保証するとともに、必要な計算量を大幅に削減する非線形最小二乗に対するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-21T13:00:04Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)
• A polynomial-time algorithm for learning nonparametric causal graphs [18.739085486953698]
  この分析はモデルフリーであり、線形性、付加性、独立ノイズ、忠実さを前提としない。 我々は、同値な分散を持つ線形模型の以前の研究と密接に関連する残差に条件を課す。
  論文  参考訳（メタデータ） (2020-06-22T02:21:53Z)
• Model selection of polynomial kernel regression [37.431578618021184]
  本稿ではカーネルの度合いと正規化パラメータを選択するための戦略を開発する。 そこで我々は,新しいモデル選択戦略を提案し,効率的な学習アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2015-03-07T08:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。