論文の概要: Feature Cross Search via Submodular Optimization

• arxiv url: http://arxiv.org/abs/2107.02139v1
• Date: Mon, 5 Jul 2021 16:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:26:09.277938
• Title: Feature Cross Search via Submodular Optimization
• Title（参考訳）: サブモジュラー最適化による特徴横断探索
• Authors: Lin Chen, Hossein Esfandiari, Gang Fu, Vahab S. Mirrokni, Qian Yu
• Abstract要約: 機能工学の基本的な基礎として機能横断探索について研究する。 この問題に対して単純なgreedy $(1-1/e)$-approximationアルゴリズムが存在することを示す。
• 参考スコア（独自算出の注目度）: 58.15569071608769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study feature cross search as a fundamental primitive in feature engineering. The importance of feature cross search especially for the linear model has been known for a while, with well-known textbook examples. In this problem, the goal is to select a small subset of features, combine them to form a new feature (called the crossed feature) by considering their Cartesian product, and find feature crosses to learn an \emph{accurate} model. In particular, we study the problem of maximizing a normalized Area Under the Curve (AUC) of the linear model trained on the crossed feature column. First, we show that it is not possible to provide an $n^{1/\log\log n}$-approximation algorithm for this problem unless the exponential time hypothesis fails. This result also rules out the possibility of solving this problem in polynomial time unless $\mathsf{P}=\mathsf{NP}$. On the positive side, by assuming the \naive\ assumption, we show that there exists a simple greedy $(1-1/e)$-approximation algorithm for this problem. This result is established by relating the AUC to the total variation of the commutator of two probability measures and showing that the total variation of the commutator is monotone and submodular. To show this, we relate the submodularity of this function to the positive semi-definiteness of a corresponding kernel matrix. Then, we use Bochner's theorem to prove the positive semi-definiteness by showing that its inverse Fourier transform is non-negative everywhere. Our techniques and structural results might be of independent interest.
• Abstract（参考訳）: 本稿では,機能工学の基本原理として機能横断探索について考察する。 特に線形モデルにおける機能横断探索の重要性は、教科書の例で知られている。 この問題において、ゴールは機能の小さなサブセットを選択し、それらを組み合わせてデカルト的製品を考慮して新機能(crossed feature)を形成すること、そして機能横断を見つけて \emph{accurate}モデルを学ぶことである。 特に,交差特徴列上で訓練された線形モデルの曲線(auc)下の正規化領域を最大化する問題について検討する。 まず、指数時間仮説が失敗しない限り、この問題に対して$n^{1/\log\log n}$-approximationアルゴリズムを提供することはできないことを示す。 この結果は、$\mathsf{P}=\mathsf{NP}$でない限り、多項式時間でこの問題を解決する可能性も規定する。 正の側では、 \naive\ 仮定を仮定することで、この問題に対して単純な greedy $(1-1/e)$-approximation アルゴリズムが存在することを示す。 この結果は、AUCを2つの確率測度の可換子の総変分に関連付けて、可換子の総変分が単調で部分モジュラーであることを示す。 これを示すために、この関数の部分モジュラリティと対応するカーネル行列の正半定値を関連付ける。 次に、ボヒナーの定理を用いて正の半定義性を証明し、その逆フーリエ変換が至る所で非負であることを示す。 私たちの技術と構造的な結果は、独立した関心事かもしれない。

関連論文リスト

• Data subsampling for Poisson regression with pth-root-link [53.63838219437508]
  ポアソン回帰のためのデータサブサンプリング手法を開発し解析する。 特に,ポアソン一般化線形モデルと ID-および平方根リンク関数について考察する。
  論文  参考訳（メタデータ） (2024-10-30T10:09:05Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Agnostically Learning Multi-index Models with Queries [54.290489524576756]
  本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。 クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-12-27T15:50:47Z)
• Near Optimal Heteroscedastic Regression with Symbiotic Learning [29.16456701187538]
  我々は不連続線形回帰の問題を考察する。 正則ノルムにおいて$mathbfw*$を$tildeOleft(|mathbff*|2cdot left(frac1n + left(dnright)2right)$の誤差まで推定し、一致する下界を証明できる。
  論文  参考訳（メタデータ） (2023-06-25T16:32:00Z)
• Private Isotonic Regression [54.32252900997422]
  部分順序集合 (poset) $mathcalX$ と任意のリプシッツ損失関数に対する等調回帰の問題を考察する。 約$mathrmwidth(mathcalX) cdot log|mathcalX| / n$, ここで$mathrmwidth(mathcalX)$はポーズの幅である。 上記の境界は本質的に最良であることを示す。
  論文  参考訳（メタデータ） (2022-10-27T05:08:07Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
  ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。 制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。 さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
  論文  参考訳（メタデータ） (2021-05-11T15:17:39Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)
• Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
  本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。 解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。 我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
  論文  参考訳（メタデータ） (2020-08-17T22:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。