論文の概要: Mutual Information Learned Regressor: an Information-theoretic Viewpoint
of Training Regression Systems
- arxiv url: http://arxiv.org/abs/2211.12685v1
- Date: Wed, 23 Nov 2022 03:43:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 14:56:42.887486
- Title: Mutual Information Learned Regressor: an Information-theoretic Viewpoint
of Training Regression Systems
- Title（参考訳）: 相互学習型回帰器:学習型回帰システムの情報理論的視点
- Authors: Jirong Yi, Qiaosheng Zhang, Zhen Chen, Qiao Liu, Wei Shao, Yusen He,
Yaohua Wang
- Abstract要約: 回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。
近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。
本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
- 参考スコア（独自算出の注目度）: 10.314518385506007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As one of the central tasks in machine learning, regression finds lots of
applications in different fields. An existing common practice for solving
regression problems is the mean square error (MSE) minimization approach or its
regularized variants which require prior knowledge about the models. Recently,
Yi et al., proposed a mutual information based supervised learning framework
where they introduced a label entropy regularization which does not require any
prior knowledge. When applied to classification tasks and solved via a
stochastic gradient descent (SGD) optimization algorithm, their approach
achieved significant improvement over the commonly used cross entropy loss and
its variants. However, they did not provide a theoretical convergence analysis
of the SGD algorithm for the proposed formulation. Besides, applying the
framework to regression tasks is nontrivial due to the potentially infinite
support set of the label. In this paper, we investigate the regression under
the mutual information based supervised learning framework. We first argue that
the MSE minimization approach is equivalent to a conditional entropy learning
problem, and then propose a mutual information learning formulation for solving
regression problems by using a reparameterization technique. For the proposed
formulation, we give the convergence analysis of the SGD algorithm for solving
it in practice. Finally, we consider a multi-output regression data model where
we derive the generalization performance lower bound in terms of the mutual
information associated with the underlying data distribution. The result shows
that the high dimensionality can be a bless instead of a curse, which is
controlled by a threshold. We hope our work will serve as a good starting point
for further research on the mutual information based regression.
- Abstract（参考訳）: 機械学習における中心的なタスクの1つとして、回帰は異なる分野における多くのアプリケーションを見つける。
回帰問題を解くための既存の慣習は、平均二乗誤差(MSE)最小化アプローチまたはモデルに関する事前知識を必要とする規則化された変種である。
近年Yiらは,事前知識を必要としないラベルエントロピー正規化を導入した相互情報に基づく教師付き学習フレームワークを提案している。
分類タスクに適用し、確率勾配勾配勾配(SGD)最適化アルゴリズムにより解いた場合、それらの手法は一般的に使用されるクロスエントロピー損失とその変種よりも大幅に改善された。
しかし、提案した定式化のためのSGDアルゴリズムの理論的収束解析は提供されなかった。
さらに、回帰タスクにフレームワークを適用することは、ラベルの無限のサポートセットのため、自明ではない。
本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
まず,MSE最小化手法は条件付きエントロピー学習問題と等価であり,再パラメータ化手法を用いて回帰問題を解くための相互情報学習定式化を提案する。
提案手法では,sgdアルゴリズムの収束解析を行い,その解法を提案する。
最後に、基礎となるデータ分布に関連する相互情報の観点から、一般化性能の低い境界を導出する多出力回帰データモデルを考える。
その結果, 高次元性は, しきい値によって制御される呪いではなく祝福であることがわかった。
私たちの研究が、相互情報に基づく回帰に関するさらなる研究の出発点となることを願っています。
関連論文リスト
- Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳（メタデータ） (2023-12-30T17:05:31Z) - Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。
IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
論文 参考訳（メタデータ） (2023-05-27T14:23:14Z) - A Novel Plug-and-Play Approach for Adversarially Robust Generalization [38.72514422694518]
本稿では,MLモデルを摂動テストデータから保護するために,逆向きに堅牢なトレーニングを採用する頑健なフレームワークを提案する。
私たちの貢献は、計算学と統計学の両方の観点から見ることができます。
論文 参考訳（メタデータ） (2022-08-19T17:02:55Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳（メタデータ） (2021-09-27T23:46:59Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Robust priors for regularized regression [12.945710636153537]
尾根回帰のような罰則化された回帰アプローチは0に向かって縮小するが、0重みは通常は意味のある先行ではない。
人間が使用する単純で堅牢な決定にインスパイアされた私たちは、ペナル化された回帰モデルのための非ゼロの事前計算を構築しました。
頑丈な先行モデルでは、最悪のパフォーマンスに優れていた。
論文 参考訳（メタデータ） (2020-10-06T10:43:14Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳（メタデータ） (2020-09-07T16:47:30Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳（メタデータ） (2020-06-05T19:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。