Fugu-MT 論文翻訳(概要): Soft Learning

論文の概要: Soft Learning

arxiv url: http://arxiv.org/abs/2605.18889v1
Date: Sat, 16 May 2026 22:14:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-20 15:03:08.850892
Title: Soft Learning
Title（参考訳）: ソフトラーニング
Authors: Mohammed Aledhari, Ali Aledhari, Fatimah Aledhari, Mohamed Rahouti,
Abstract要約: ソフトラーニング(Soft Learning)は、異種専門家のライブラリを維持するフレームワークである。 CPU単独でディープネットワークよりも2桁以上高速にトレーニングする。タスクの70%にランク付けし、最高の平均ランクを獲得し、分類と回帰の両方で同時に最適化する唯一の方法である。
参考スコア（独自算出の注目度）: 1.3766156880876856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern machine learning forces practitioners to choose between powerful but expensive deep networks and fast but limited classical algorithms. Here we introduce Soft Learning, a framework that maintains a library of heterogeneous specialists -- spanning linear models, tree ensembles, kernel machines, and neural networks -- and discovers provably optimal combination weights through cross-validated non-negative least squares. Soft Learning is guaranteed to match or exceed the best weighted combination of its specialists, trains over two orders of magnitude faster than deep networks on CPU alone (72-435x faster across tested configurations), provides inherent interpretability through learned weights that reveal which algorithmic paradigm best fits the data, and is future-proof: adding specialists is mathematically guaranteed to maintain or improve performance. Across 37 datasets (25 classification, 12 regression) against nine methods including CatBoost and tuned deep networks, Soft Learning ranks first on 70% of tasks, achieves the best mean rank (Friedman test, p = 1.12 x 10^-12), and is the only method to simultaneously excel at both classification and regression -- all without GPU hardware or hyperparameter tuning. These results suggest a paradigm shift from "which algorithm is best?" to "what is the provably optimal combination?" -- a question Soft Learning answers with formal guarantees for any data modality.
Abstract（参考訳）: 現代の機械学習では、実践者は強力だが高価なディープネットワークと高速だが制限された古典的アルゴリズムを選択せざるを得ない。ここでは、線形モデル、ツリーアンサンブル、カーネルマシン、ニューラルネットワークにまたがる異種専門家のライブラリを維持するフレームワークであるSoft Learningを紹介します。ソフトラーニングは、専門家の最高の重み付けの組み合わせに適合または超えることが保証され、CPU上のディープネットワークよりも2桁早く訓練される(テストされた構成で72-435倍高速)。 CatBoostとチューニングされたディープネットワークを含む9つのメソッドに対する37のデータセット(25の分類、12の回帰)に対して、ソフトラーニングはタスクの70%にランクインし、最高の平均ランク(Friedman test, p = 1.12 x 10^-12)を達成し、分類と回帰の両方で同時に最適化する唯一の方法である。これらはすべてGPUハードウェアやハイパーパラメータチューニングなしで。これらの結果は、"どのアルゴリズムが最適か?"から"証明可能な最適な組み合わせ"へとパラダイムシフトしていることを示唆している。

関連論文リスト

Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。我々はその2次情報を経験的フィッシャー行列を通して活用する。ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文参考訳（メタデータ） (2024-10-24T18:02:11Z)
Identifying Equivalent Training Dynamics [3.793387630509845]
共役および非共役のトレーニングダイナミクスを識別するフレームワークを開発する。クープマン作用素理論の進歩を利用して、クープマン固有値を比較することで、オンラインミラー降下とオンライン勾配降下の既知同値を正しく同定できることを実証する。 a)浅層ニューラルネットワークと広層ニューラルネットワークの間の非共役トレーニングダイナミクスの同定、(b)畳み込みニューラルネットワークにおけるトレーニングダイナミクスの初期段階の特徴付け、(c)グルーキングを行わないトランスフォーマーにおける非共役トレーニングダイナミクスの発見。
論文参考訳（メタデータ） (2023-02-17T22:15:20Z)
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2022-11-16T00:11:04Z)
Higher-order accurate two-sample network inference and network hashing [13.984114642035692]
ネットワーク比較のための2サンプル仮説テストは、多くの重要な課題を示す。我々は,新しいメソッドとその変種を特徴とする包括的ツールボックスを開発した。提案手法は,既存のツールの高速化と精度に優れ,電力効率が最適であることが証明された。
論文参考訳（メタデータ） (2022-08-16T07:31:11Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
DOGE-Train: Discrete Optimization on GPU with End-to-end Training [28.795080637690095]
0-1整数線形プログラムの緩和を解くために,高速でスケーラブルなデータ駆動型手法を提案する。グラフニューラルネットワーク(GNN)とラグランジュ分解に基づくアルゴリズムであるFastDOGを用いる。
論文参考訳（メタデータ） (2022-05-23T21:09:41Z)
Yordle: An Efficient Imitation Learning for Branch and Bound [1.6758573326215689]
本研究では,2021年のNeurIPS Machine Learning for Combinatorial Optimization (ML4CO)コンペティションにおいて,チームqqyが得たソリューションと洞察を紹介する。我々のソリューションは、ブランチ・アンド・バウンド(B&B)のパフォーマンス改善のための、Yordleという名前の非常に効率的な模倣学習フレームワークです。我々の実験では、Yordleは、決定モデルのトレーニングに要する時間とデータの量を大幅に削減しながら、競争によって採用されるベースラインアルゴリズムを大幅に上回っている。
論文参考訳（メタデータ） (2022-02-02T14:46:30Z)
A Continuous Optimisation Benchmark Suite from Neural Network Regression [0.0]
ニューラルネットワークのトレーニングは、近年のディープラーニングの成功で注目を集めている最適化タスクである。勾配降下変種は、大規模機械学習タスクにおける信頼性の高いパフォーマンスにおいて、最も一般的な選択である。 CORNNは、ニューラルネットワークのトレーニング問題に対して、連続的なブラックボックスアルゴリズムのパフォーマンスをベンチマークするスイートである。
論文参考訳（メタデータ） (2021-09-12T20:24:11Z)
Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文参考訳（メタデータ） (2021-08-11T20:21:30Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。