論文の概要: Learning Without Training
- arxiv url: http://arxiv.org/abs/2602.17985v1
- Date: Fri, 20 Feb 2026 04:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 18:01:41.228073
- Title: Learning Without Training
- Title(参考訳): トレーニングなしの学習
- Authors: Ryan O'Dowd,
- Abstract要約: この論文は、機械学習応用の数学的理論に根ざした3つの異なるプロジェクトに焦点を当てている。
最初のプロジェクトは教師付き学習と多様体学習を扱う。
第2のプロジェクトは、あるドメインで学んだ近似プロセスやモデルをどのように活用して、別のドメインでの近似を改善するかを研究する、転送学習を扱う。
第3のプロジェクトは、機械学習における分類タスク、特にアクティブな学習パラダイムに関するものである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning is at the heart of managing the real-world problems associated with massive data. With the success of neural networks on such large-scale problems, more research in machine learning is being conducted now than ever before. This dissertation focuses on three different projects rooted in mathematical theory for machine learning applications. The first project deals with supervised learning and manifold learning. In theory, one of the main problems in supervised learning is that of function approximation: that is, given some data set $\mathcal{D}=\{(x_j,f(x_j))\}_{j=1}^M$, can one build a model $F\approx f$? We introduce a method which aims to remedy several of the theoretical shortcomings of the current paradigm for supervised learning. The second project deals with transfer learning, which is the study of how an approximation process or model learned on one domain can be leveraged to improve the approximation on another domain. We study such liftings of functions when the data is assumed to be known only on a part of the whole domain. We are interested in determining subsets of the target data space on which the lifting can be defined, and how the local smoothness of the function and its lifting are related. The third project is concerned with the classification task in machine learning, particularly in the active learning paradigm. Classification has often been treated as an approximation problem as well, but we propose an alternative approach leveraging techniques originally introduced for signal separation problems. We introduce theory to unify signal separation with classification and a new algorithm which yields competitive accuracy to other recent active learning algorithms while providing results much faster.
- Abstract(参考訳): 機械学習は、大量のデータに関連する現実世界の問題の管理の中心にある。
このような大規模な問題におけるニューラルネットワークの成功により、機械学習の研究はこれまで以上に多く行われている。
この論文は、機械学習応用の数学的理論に根ざした3つの異なるプロジェクトに焦点を当てている。
最初のプロジェクトは教師付き学習と多様体学習を扱う。
理論上、教師あり学習の主な問題は関数近似である:すなわち、あるデータセットが $\mathcal{D}=\{(x_j,f(x_j))\}_{j=1}^M$ であれば、モデルが $F\approx f$ を構築できる。
本稿では,教師あり学習における現在のパラダイムの理論的欠点のいくつかを解消する手法を提案する。
第2のプロジェクトは、あるドメインで学んだ近似プロセスやモデルをどのように活用して、別のドメインでの近似を改善するかを研究する、転送学習を扱う。
このような関数の持ち上げは、データが全領域でのみ知られていると仮定されるときに行われる。
我々は、リフトが定義できる対象データ空間のサブセットを決定することに興味を持ち、関数の局所的滑らかさとそのリフトの関連性について述べる。
第3のプロジェクトは、機械学習における分類タスク、特にアクティブな学習パラダイムに関するものである。
分類は近似問題としても扱われることが多いが,信号分離問題にもともと導入されていた手法を応用した代替手法を提案する。
我々は、信号分離と分類を統一する理論を導入し、その結果をはるかに高速に提供しながら、近年の能動的学習アルゴリズムに競争精度をもたらす新しいアルゴリズムを提案する。
関連論文リスト
- Physics of Learning: A Lagrangian perspective to different learning paradigms [60.75807831005178]
効率的な学習は情報を最小時間で処理し、すなわち、最小数の観測値で所望の誤差閾値に達するシステムを構築する。
我々は古典的な学習アルゴリズム、強化学習におけるベルマンの最適性方程式、第一原理から生成モデルにおけるアダムを導出する。
我々は,ラグランジアンにおける定常経路の学習探索と,定常軌道を求めることによって学習アルゴリズムが導出可能であることを仮定する。
論文 参考訳(メタデータ) (2025-09-25T12:00:22Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳(メタデータ) (2025-07-31T05:34:27Z) - An Approximation Theory Perspective on Machine Learning [1.2289361708127877]
浅層/深層ネットワークの役割を含む機械学習の新たなトレンドについて論じる。
関数近似は機械学習の基本的な問題であるにもかかわらず、近似理論は分野の理論的基礎において中心的な役割を果たすものではない。
論文 参考訳(メタデータ) (2025-06-02T18:50:18Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文 参考訳(メタデータ) (2021-09-03T08:43:29Z) - Network Support for High-performance Distributed Machine Learning [17.919773898228716]
学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。
次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。
我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
論文 参考訳(メタデータ) (2021-02-05T19:38:57Z) - Learning by Ignoring, with Application to Domain Adaptation [10.426533624387305]
学習を無視する学習(LBI)と呼ばれる新しい機械学習フレームワークを提案する。
本フレームワークは,各サンプルの無視変数を学習することにより,対象の分布から大きなドメインシフトを持つ事前学習データ例を自動的に識別し,事前学習プロセスから除外する。
LBIの3レベル最適化問題を効率よく解くために勾配に基づくアルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-12-28T15:33:41Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳(メタデータ) (2020-10-24T21:35:57Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳(メタデータ) (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。