論文の概要: Gauge-optimal approximate learning for small data classification
problems
- arxiv url: http://arxiv.org/abs/2310.19066v1
- Date: Sun, 29 Oct 2023 16:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 14:39:07.676533
- Title: Gauge-optimal approximate learning for small data classification
problems
- Title（参考訳）: 小型データ分類問題に対するゲージ最適近似学習
- Authors: Edoardo Vecchi, Davide Bassetti, Fabio Graziato, Lukas Pospisil, Illia
Horenko
- Abstract要約: 小さなデータ学習問題は、応答変数の観測量が限られたことと大きな特徴空間次元との相違によって特徴づけられる。
本稿では,Gauge-Optimal Approximate Learning (GOAL)アルゴリズムを提案する。
GOALは、合成データと、気候科学やバイオインフォマティクスといった現実世界の応用に挑戦する、最先端の機械学習(ML)ツールと比較されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Small data learning problems are characterized by a significant discrepancy
between the limited amount of response variable observations and the large
feature space dimension. In this setting, the common learning tools struggle to
identify the features important for the classification task from those that
bear no relevant information, and cannot derive an appropriate learning rule
which allows to discriminate between different classes. As a potential solution
to this problem, here we exploit the idea of reducing and rotating the feature
space in a lower-dimensional gauge and propose the Gauge-Optimal Approximate
Learning (GOAL) algorithm, which provides an analytically tractable joint
solution to the dimension reduction, feature segmentation and classification
problems for small data learning problems. We prove that the optimal solution
of the GOAL algorithm consists in piecewise-linear functions in the Euclidean
space, and that it can be approximated through a monotonically convergent
algorithm which presents -- under the assumption of a discrete segmentation of
the feature space -- a closed-form solution for each optimization substep and
an overall linear iteration cost scaling. The GOAL algorithm has been compared
to other state-of-the-art machine learning (ML) tools on both synthetic data
and challenging real-world applications from climate science and bioinformatics
(i.e., prediction of the El Nino Southern Oscillation and inference of
epigenetically-induced gene-activity networks from limited experimental data).
The experimental results show that the proposed algorithm outperforms the
reported best competitors for these problems both in learning performance and
computational cost.
- Abstract（参考訳）: 少数のデータ学習問題は、応答変数の観測量の制限と大きな特徴空間次元との間の大きな相違によって特徴づけられる。
この設定では、共通学習ツールは、関連する情報を持たないものから分類タスクにとって重要な特徴を特定するのに苦労し、異なるクラスを区別できる適切な学習規則を導出できない。
この問題に対する潜在的な解決策として、低次元ゲージにおける特徴空間の縮小と回転というアイデアを活用し、小さなデータ学習問題に対する次元減少、特徴分節化、分類問題に対する解析的に抽出可能なジョイントソリューションであるGauge-Optimal Approximate Learning (GOAL)アルゴリズムを提案する。
GOALアルゴリズムの最適解はユークリッド空間の片方向線形関数で構成されており、各最適化部分ステップと全体の線形反復コストスケーリングに対する閉形式解である特徴空間の離散分割を前提とした単調収束アルゴリズムにより近似可能であることを証明した。
GOALアルゴリズムは、合成データと気候科学とバイオインフォマティクス(El Nino Southern Oscillationの予測と、限られた実験データからエピジェネティックに誘発される遺伝子活性ネットワークの推測)からの実際の応用に挑戦する他の最先端機械学習(ML)ツールと比較されている。
実験結果から,提案アルゴリズムは,これらの問題に対して,学習性能と計算コストの両面で,最も優れた競合相手であることがわかった。
関連論文リスト
- On Probabilistic Embeddings in Optimal Dimension Reduction [1.2085509610251701]
次元減少アルゴリズムは多くのデータサイエンスパイプラインの重要な部分である。
広く利用されているにもかかわらず、多くの非線形次元還元アルゴリズムは理論的観点からは理解されていない。
論文 参考訳（メタデータ） (2024-08-05T12:46:21Z) - Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。
提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文 参考訳（メタデータ） (2024-06-12T17:53:28Z) - Towards model-free RL algorithms that scale well with unstructured data [1.3799571823220778]
本稿では,経験ストリームから直接予測構造を発見し,活用するための報奨関連一般値関数質問を構築するアルゴリズムを提案する。
提案アルゴリズムは,これらのスケーリング問題に対して,従来のディープRLアルゴリズムよりも確実に性能を向上する。
論文 参考訳（メタデータ） (2023-11-03T20:03:54Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Nonlinear Feature Aggregation: Two Algorithms driven by Theory [45.3190496371625]
現実世界の機械学習アプリケーションは、膨大な機能によって特徴付けられ、計算やメモリの問題を引き起こす。
一般集約関数を用いて特徴量の非線形変換を集約する次元還元アルゴリズム(NonLinCFA)を提案する。
また、アルゴリズムを合成および実世界のデータセット上でテストし、回帰および分類タスクを実行し、競合性能を示す。
論文 参考訳（メタデータ） (2023-06-19T19:57:33Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - A Differentiable Approach to Combinatorial Optimization using Dataless
Neural Networks [20.170140039052455]
我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。
特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
論文 参考訳（メタデータ） (2022-03-15T19:21:31Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。