論文の概要: Margin Maximization as Lossless Maximal Compression
- arxiv url: http://arxiv.org/abs/2001.10318v1
- Date: Tue, 28 Jan 2020 13:40:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 02:26:50.091986
- Title: Margin Maximization as Lossless Maximal Compression
- Title（参考訳）: ロスレス最大圧縮としてのマージン最大化
- Authors: Nikolaos Nikolaou, Henry Reeve, Gavin Brown
- Abstract要約: 分類において、可能な限り多くのトレーニング例を最大限の信頼性で正しく分類する機能的マージンは、優れた一般化保証を持つモデルを構築することが知られている。
この研究は、雑音のないデータセットを最大限に圧縮するものとして、マージンを最大化する情報理論的な解釈を与える。
- 参考スコア（独自算出の注目度）: 0.3007949058551534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ultimate goal of a supervised learning algorithm is to produce models
constructed on the training data that can generalize well to new examples. In
classification, functional margin maximization -- correctly classifying as many
training examples as possible with maximal confidence --has been known to
construct models with good generalization guarantees. This work gives an
information-theoretic interpretation of a margin maximizing model on a
noiseless training dataset as one that achieves lossless maximal compression of
said dataset -- i.e. extracts from the features all the useful information for
predicting the label and no more. The connection offers new insights on
generalization in supervised machine learning, showing margin maximization as a
special case (that of classification) of a more general principle and explains
the success and potential limitations of popular learning algorithms like
gradient boosting. We support our observations with theoretical arguments and
empirical evidence and identify interesting directions for future work.
- Abstract（参考訳）: 教師付き学習アルゴリズムの最終的な目標は、新しい例にうまく一般化できるトレーニングデータに基づいて構築されたモデルを作ることである。
分類において、機能的マージンの最大化 -- 可能な限り多くのトレーニング例を最大限の信頼性で正しく分類する -- は、優れた一般化保証を持つモデルを構築することが知られている。
この研究は、ノイズのないトレーニングデータセット上のマージン最大化モデルの情報理論的解釈を、そのデータセットのロスレス最大圧縮(すなわちラベルを予測するのに有用なすべての情報から抽出)を達成するものとして与える。
この接続は、教師付き機械学習の一般化に関する新たな洞察を提供し、より一般的な原則の特別なケース(分類のケース)としてマージン最大化を示し、勾配ブースティングのような一般的な学習アルゴリズムの成功と潜在的な限界を説明する。
理論的な議論と実証的な証拠によって観察を支援し、今後の作業の興味深い方向性を特定する。
関連論文リスト
- Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。
我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-04-02T07:54:18Z) - Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳（メタデータ） (2023-11-17T00:35:38Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。
これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。
環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文 参考訳（メタデータ） (2023-09-30T02:25:18Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Generalized Weighted Optimization Method for Computational Learning
and Inversion [15.535124460414588]
雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。
学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。
先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
論文 参考訳（メタデータ） (2022-01-23T10:35:34Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳（メタデータ） (2022-01-04T06:55:19Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Fairness in Streaming Submodular Maximization: Algorithms and Hardness [20.003009252240222]
本研究では,モノトーン関数と非モノトーン関数の両方に対して,不均一条件下でのサブモジュラーに対する最初のストリーミング近似を開発した。
DPPに基づく映画レコメンデーション,クラスタリングによる要約,ソーシャルネットワークにおける最大カバレッジについて検討した。
論文 参考訳（メタデータ） (2020-10-14T22:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。