論文の概要: A unified framework for learning with nonlinear model classes from arbitrary linear samples

• arxiv url: http://arxiv.org/abs/2311.14886v1
• Date: Sat, 25 Nov 2023 00:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 23:11:13.255425
• Title: A unified framework for learning with nonlinear model classes from arbitrary linear samples
• Title（参考訳）: 任意の線形サンプルから非線形モデルクラスを学習するための統一フレームワーク
• Authors: Ben Adcock, Juan M. Cardenas, Nick Dexter
• Abstract要約: この研究は、与えられたモデルクラスを使用してトレーニングデータから未知のオブジェクトを学ぶという根本的な問題を考察する。 任意のヒルベルト空間のオブジェクト、訓練データとしての(ランダムな)線形測定の一般型、非線形モデルクラスの一般型を可能にする統一的なフレームワークを導入する。 本稿では, ランダムサンプリングによる行列スケッチ, 等方的ベクトルを用いた圧縮センシング, 回帰学習, 生成モデルによる圧縮センシングなどの例を示す。
• 参考スコア（独自算出の注目度）: 0.7366405857677226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work considers the fundamental problem of learning an unknown object from training data using a given model class. We introduce a unified framework that allows for objects in arbitrary Hilbert spaces, general types of (random) linear measurements as training data and general types of nonlinear model classes. We establish a series of learning guarantees for this framework. These guarantees provide explicit relations between the amount of training data and properties of the model class to ensure near-best generalization bounds. In doing so, we also introduce and develop the key notion of the variation of a model class with respect to a distribution of sampling operators. To exhibit the versatility of this framework, we show that it can accommodate many different types of well-known problems of interest. We present examples such as matrix sketching by random sampling, compressed sensing with isotropic vectors, active learning in regression and compressed sensing with generative models. In all cases, we show how known results become straightforward corollaries of our general learning guarantees. For compressed sensing with generative models, we also present a number of generalizations and improvements of recent results. In summary, our work not only introduces a unified way to study learning unknown objects from general types of data, but also establishes a series of general theoretical guarantees which consolidate and improve various known results.
• Abstract（参考訳）: 本研究は、与えられたモデルクラスを用いたトレーニングデータから未知のオブジェクトを学習する基本的な問題を考える。 任意のヒルベルト空間のオブジェクト、訓練データとしての(ランダムな)線形計測の一般型、および非線形モデルクラスの一般型を可能にする統一フレームワークを提案する。 我々は、このフレームワークの一連の学習保証を確立する。 これらの保証は、トレーニングデータの量とモデルクラスの特性の間に明確な関係を持ち、ほぼ最高の一般化境界を保証する。 また、サンプリング演算子の分布に関して、モデルクラスの変動に関する重要な概念を導入し、発展させる。 この枠組みの汎用性を示すため、様々な種類のよく知られた問題に適合できることを示す。 本稿では, ランダムサンプリングによる行列スケッチ, 等方的ベクトルを用いた圧縮センシング, 回帰学習, 生成モデルによる圧縮センシングなどの例を示す。 いずれの場合も、既知の結果が私たちの一般的な学習保証の直接的な分類となることを示す。 生成モデルを用いた圧縮センシングには、最近の結果の一般化と改善もいくつか提示する。 まとめると、本研究は、未知のオブジェクトを一般的なデータから学習するための統一的な方法を導入するだけでなく、様々な既知の結果を集約し改善する一連の一般的な理論的保証を確立する。

関連論文リスト

• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Generative Learning of Continuous Data by Tensor Networks [45.49160369119449]
  本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。 我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。 本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
  論文  参考訳（メタデータ） (2023-10-31T14:37:37Z)
• Representer Point Selection for Explaining Regularized High-dimensional Models [105.75758452952357]
  本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。 私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。 提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
  論文  参考訳（メタデータ） (2023-05-31T16:23:58Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
  本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。 クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。 提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
  論文  参考訳（メタデータ） (2022-01-04T06:55:19Z)
• Nonparametric Functional Analysis of Generalized Linear Models Under Nonlinear Constraints [0.0]
  本稿では、一般化線形モデルのための新しい非パラメトリック方法論を紹介する。 これは二項回帰の強さとカテゴリーデータに対する潜在変数の定式化の強さを組み合わせたものである。 これは最近公開された方法論のパラメトリックバージョンを拡張し、一般化する。
  論文  参考訳（メタデータ） (2021-10-11T04:49:59Z)
• Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model [24.679669970832396]
  教師学生モデルは、高次元教師付き学習タスクの典型的なケースパフォーマンスをクローズドな形で研究できる強力なフレームワークを提供する。 この設定では、ラベルはデータに割り当てられ、しばしばガウスのi.i.dとされる。 -教師モデルにより、ラベルを生成するパラメータの復元において、学生モデルの典型的な性能を特徴付けることが目的である。
  論文  参考訳（メタデータ） (2021-02-16T12:49:15Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。