論文の概要: Learning High Order Feature Interactions with Fine Control Kernels
- arxiv url: http://arxiv.org/abs/2002.03298v1
- Date: Sun, 9 Feb 2020 06:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 14:17:06.365425
- Title: Learning High Order Feature Interactions with Fine Control Kernels
- Title（参考訳）: ファインコントロールカーネルを用いた高次特徴相互作用の学習
- Authors: Hristo Paskov, Alex Paskov, Robert West
- Abstract要約: 我々は、全ての可能な乗法的相互作用を特徴とするスパース統計モデルを学習するための方法論を提供する。
また、Fenchel DualityをベースとしたアルゴリズムパラダイムであるFine Control Kernelフレームワークについても紹介する。
- 参考スコア（独自算出の注目度）: 12.5433010409486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide a methodology for learning sparse statistical models that use as
features all possible multiplicative interactions among an underlying atomic
set of features. While the resulting optimization problems are exponentially
sized, our methodology leads to algorithms that can often solve these problems
exactly or provide approximate solutions based on combining highly correlated
features. We also introduce an algorithmic paradigm, the Fine Control Kernel
framework, so named because it is based on Fenchel Duality and is reminiscent
of kernel methods. Its theory is tailored to large sparse learning problems,
and it leads to efficient feature screening rules for interactions. These rules
are inspired by the Apriori algorithm for market basket analysis -- which also
falls under the purview of Fine Control Kernels, and can be applied to a
plurality of learning problems including the Lasso and sparse matrix
estimation. Experiments on biomedical datasets demonstrate the efficacy of our
methodology in deriving algorithms that efficiently produce interactions models
which achieve state-of-the-art accuracy and are interpretable.
- Abstract（参考訳）: 基礎となるアトミックな特徴セット間の全ての可能な乗法的相互作用を特徴として使用するスパース統計モデルを学ぶための方法論を提供する。
結果の最適化問題は指数関数的に小さいが,提案手法はこれらの問題を正確に解けるアルゴリズムや,高度に相関した特徴を組み合わせた近似解を提供するアルゴリズムに導かれる。
また、Fenchel Dualityをベースとし、カーネルメソッドを連想させるアルゴリズムパラダイムであるFine Control Kernelフレームワークも導入している。
その理論は、大きなスパース学習問題に適合し、相互作用の効率的な特徴スクリーニングルールにつながる。
これらのルールは、マーケットバスケット分析のための apriori アルゴリズムにインスパイアされており、これは、細粒度制御カーネルのパービューに該当するものであり、lasso や sparse matrix 推定を含む複数の学習問題に適用することができる。
バイオメディカルデータセットに関する実験は、最先端の精度と解釈可能な相互作用モデルを効率的に作成するアルゴリズムを導出する手法の有効性を実証する。
関連論文リスト
- Efficient Differentiable Discovery of Causal Order [14.980926991441342]
Intersortは、変数の因果順序を発見するためのスコアベースの方法である。
我々は、差別化可能なソートとランキング技術を用いてインターソートを再構築する。
我々の研究は、因果順の正規化を微分可能なモデルの訓練に効率的に組み込むための扉を開く。
論文 参考訳（メタデータ） (2024-10-11T13:11:55Z) - Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。
我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。
CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
論文 参考訳（メタデータ） (2023-06-23T09:57:44Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Multi-Task Learning with Prior Information [5.770309971945476]
本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。
また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
論文 参考訳（メタデータ） (2023-01-04T12:48:05Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Practical, Provably-Correct Interactive Learning in the Realizable
Setting: The Power of True Believers [12.09273192079783]
我々は、対話型学習を実現可能な設定で検討し、最適な腕の識別からアクティブな分類に至るまでの問題に対処する一般的な枠組みを開発する。
我々は,最小限の値と対数係数とを一致させる,計算効率のよい新しいアルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-11-09T02:33:36Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - A Two-stage Framework and Reinforcement Learning-based Optimization
Algorithms for Complex Scheduling Problems [54.61091936472494]
本稿では、強化学習(RL)と従来の運用研究(OR)アルゴリズムを組み合わせた2段階のフレームワークを開発する。
スケジューリング問題は,有限マルコフ決定過程 (MDP) と混合整数計画過程 (mixed-integer programming process) の2段階で解決される。
その結果,本アルゴリズムは,アジャイルな地球観測衛星スケジューリング問題に対して,安定かつ効率的に十分なスケジューリング計画を得ることができた。
論文 参考訳（メタデータ） (2021-03-10T03:16:12Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳（メタデータ） (2021-01-26T17:11:40Z) - Learning to Actively Learn: A Robust Approach [22.75298609290053]
本研究では,アクティブラーニングや純粋探索型マルチアームバンディットといった適応データ収集タスクのアルゴリズム設計手法を提案する。
我々の適応アルゴリズムは、情報理論の下界から導かれる問題の同値クラスに対する逆学習によって学習される。
我々は,訓練手順の安定性と有効性を正当化するための合成実験を行い,実データから導出される課題について評価する。
論文 参考訳（メタデータ） (2020-10-29T06:48:22Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳（メタデータ） (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。