論文の概要: Meta Learning for High-dimensional Ising Model Selection Using
$\ell_1$-regularized Logistic Regression
- arxiv url: http://arxiv.org/abs/2208.09539v1
- Date: Fri, 19 Aug 2022 20:28:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 14:40:06.745128
- Title: Meta Learning for High-dimensional Ising Model Selection Using
$\ell_1$-regularized Logistic Regression
- Title（参考訳）: $\ell_1$-regularized Logistic Regression を用いた高次元イジングモデル選択のためのメタラーニング
- Authors: Huiming Xie, Jean Honorio
- Abstract要約: 高次元イジングモデルに関連するグラフを推定するメタ学習問題を考察する。
我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、その十分なサンプルの複雑さを減らすことである。
- 参考スコア（独自算出の注目度）: 28.776950569604026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we consider the meta learning problem for estimating the
graphs associated with high-dimensional Ising models, using the method of
$\ell_1$-regularized logistic regression for neighborhood selection of each
node. Our goal is to use the information learned from the auxiliary tasks in
the learning of the novel task to reduce its sufficient sample complexity. To
this end, we propose a novel generative model as well as an improper estimation
method. In our setting, all the tasks are \emph{similar} in their \emph{random}
model parameters and supports. By pooling all the samples from the auxiliary
tasks to \emph{improperly} estimate a single parameter vector, we can recover
the true support union, assumed small in size, with a high probability with a
sufficient sample complexity of $\Omega(1) $ per task, for $K = \Omega(d^3 \log
p ) $ tasks of Ising models with $p$ nodes and a maximum neighborhood size $d$.
Then, with the support for the novel task restricted to the estimated support
union, we prove that consistent neighborhood selection for the novel task can
be obtained with a reduced sufficient sample complexity of $\Omega(d^3 \log
d)$.
- Abstract（参考訳）: 本稿では,各ノードの近傍選択に対して,$\ell_1$-regularized logistic regression法を用いて,高次元Isingモデルに関連するグラフを推定するメタ学習問題を考察する。
我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、十分なサンプルの複雑さを減らすことである。
そこで本研究では,新しい生成モデルと不適切な推定手法を提案する。
私たちの設定では、すべてのタスクは \emph{similar} モデルパラメータの \emph{random} であり、サポートします。
補助タスクからすべてのサンプルを \emph{improperly} にプールすることで、単一のパラメータベクトルを推定することで、小さなサイズの真のサポートユニオンを復元でき、十分なサンプル複雑性を持つ高い確率で、1タスク当たり$\omega(1) $、$k = \omega(d^3 \log p ) $ ノードと最大近傍サイズ$d$を持つイジングモデルのタスクを復元することができる。
そして, 推定支援組合に制限された新規タスクのサポートにより, 新規タスクに対する一貫した近傍選択が, 十分なサンプルの複雑さを$\Omega(d^3 \log d)$に減らして得られることを示す。
関連論文リスト
- On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - Meta Sparse Principal Component Analysis [31.403997435274604]
高次元主成分分析における支援のためのメタラーニング(非零成分集合)について検討した。
補助的なタスクから学習した情報を用いて,新しいタスクにおける十分なサンプルの複雑さを低減する。
論文 参考訳（メタデータ） (2022-08-18T16:28:31Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳（メタデータ） (2020-07-15T03:25:24Z) - A Provably Efficient Sample Collection Strategy for Reinforcement
Learning [123.69175280309226]
オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。
1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
論文 参考訳（メタデータ） (2020-07-13T15:17:35Z) - Meta Learning for Support Recovery in High-dimensional Precision Matrix
Estimation [31.41834200409171]
高次元精度行列推定における支援のためのメタラーニング(非ゼロ成分の集合)について検討する。
我々の設定では、各タスクは異なるランダムな真の精度行列を持ち、それぞれが異なる可能性がある。
我々は,Omega(log N)/K)$$nのサンプル数に対して,一致する情報理論の下界を証明した。
論文 参考訳（メタデータ） (2020-06-22T20:24:52Z) - On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文 参考訳（メタデータ） (2020-06-20T20:33:59Z) - Robust Meta-learning for Mixed Linear Regression with Small Batches [34.94138630547603]
大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか?
既存のアプローチでは、そのようなトレードオフは効率よく達成でき、それぞれ$Omega(k1/2)$の例を持つ中規模のタスクの助けを借りることができる。
両シナリオで同時に堅牢なスペクトルアプローチを導入する。
論文 参考訳（メタデータ） (2020-06-17T07:59:05Z) - A Randomized Algorithm to Reduce the Support of Discrete Measures [79.55586575988292]
離散確率測度が$N$原子と$n$実数値関数の集合で成り立つと、元の$N$原子の$n+1$の部分集合で支えられる確率測度が存在する。
我々は、負の円錐によるバリセンターの簡単な幾何学的特徴付けを与え、この新しい測度を「グリード幾何学的サンプリング」によって計算するランダム化アルゴリズムを導出する。
次に、その性質を研究し、それを合成および実世界のデータにベンチマークして、$Ngg n$ regimeにおいて非常に有益であることを示す。
論文 参考訳（メタデータ） (2020-06-02T16:38:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。