論文の概要: Contextual Feature Selection with Conditional Stochastic Gates

• arxiv url: http://arxiv.org/abs/2312.14254v2
• Date: Fri, 7 Jun 2024 19:01:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 04:18:44.192228
• Title: Contextual Feature Selection with Conditional Stochastic Gates
• Title（参考訳）: 条件付き確率ゲートを用いた文脈特徴選択
• Authors: Ram Dyuthi Sristi, Ofir Lindenbaum, Shira Lifshitz, Maria Lavzin, Jackie Schiller, Gal Mishne, Hadas Benisty,
• Abstract要約: 条件ゲート(c-STG)は、文脈変数に基づいてパラメータが予測される条件変数を用いて、特徴の重要性をモデル化する。 我々は,c-STGは,予測精度と解釈可能性を高めつつ,特徴選択能力の向上につながることを示した。
• 参考スコア（独自算出の注目度）: 9.784482648233048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature selection is a crucial tool in machine learning and is widely applied across various scientific disciplines. Traditional supervised methods generally identify a universal set of informative features for the entire population. However, feature relevance often varies with context, while the context itself may not directly affect the outcome variable. Here, we propose a novel architecture for contextual feature selection where the subset of selected features is conditioned on the value of context variables. Our new approach, Conditional Stochastic Gates (c-STG), models the importance of features using conditional Bernoulli variables whose parameters are predicted based on contextual variables. We introduce a hypernetwork that maps context variables to feature selection parameters to learn the context-dependent gates along with a prediction model. We further present a theoretical analysis of our model, indicating that it can improve performance and flexibility over population-level methods in complex feature selection settings. Finally, we conduct an extensive benchmark using simulated and real-world datasets across multiple domains demonstrating that c-STG can lead to improved feature selection capabilities while enhancing prediction accuracy and interpretability.
• Abstract（参考訳）: 特徴選択は機械学習において重要なツールであり、様々な科学分野に広く適用されている。 伝統的に監督された手法は、一般に全人口の普遍的な情報的特徴の集合を識別する。 しかし、特徴の関連性はしばしばコンテキストによって異なり、コンテキスト自体が結果変数に直接影響しない場合がある。 本稿では,コンテキスト変数の値に対して,選択した特徴のサブセットを条件付けしたコンテキスト的特徴選択のための新しいアーキテクチャを提案する。 我々の新しいアプローチである条件確率ゲート(c-STG)は、文脈変数に基づいてパラメータを予測する条件ベルヌーイ変数を用いた特徴の重要性をモデル化する。 本稿では,コンテキスト変数を特徴選択パラメータにマッピングして,予測モデルとともにコンテキスト依存ゲートを学習するハイパーネットワークを提案する。 さらに,本モデルについて理論的解析を行い,複雑な特徴選択設定において,集団レベルの手法よりも性能と柔軟性を向上できることを示す。 最後に、複数の領域にまたがるシミュレーションおよび実世界のデータセットを用いて広範なベンチマークを行い、予測精度と解釈可能性を高めながら、c-STGが機能選択能力の向上につながることを示す。

関連論文リスト

• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Context-aware feature attribution through argumentation [0.0]
  我々はCA-FATA (Context-Aware Feature Attribution Through Argumentation) と呼ばれる新しい特徴属性フレームワークを定義する。 我々のフレームワークは、各特徴を、予測を支援したり、攻撃したり、中和したりできる議論として扱うことによって、議論の力を利用する。
  論文  参考訳（メタデータ） (2023-10-24T20:02:02Z)
• Scalable variable selection for two-view learning tasks with projection operators [0.0]
  本稿では,2視点設定やベクトル値による教師付き学習問題に対して,新しい変数選択法を提案する。 当社のフレームワークは,データサンプルの数が数百万にものぼる,非常に大規模な選択タスクを処理できる。
  論文  参考訳（メタデータ） (2023-07-04T08:22:05Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
  連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T09:10:05Z)
• Dynamic Instance-Wise Classification in Correlated Feature Spaces [15.351282873821935]
  典型的な機械学習環境では、すべてのテストインスタンスの予測は、モデルトレーニング中に発見された機能の共通サブセットに基づいている。 それぞれのテストインスタンスに対して個別に評価する最適な特徴を順次選択し、分類精度に関して更なる改善が得られないことを判断すると、選択プロセスが終了して予測を行う新しい手法を提案する。 提案手法の有効性, 一般化性, 拡張性について, 多様なアプリケーション領域の様々な実世界のデータセットで説明する。
  論文  参考訳（メタデータ） (2021-06-08T20:20:36Z)
• Top-$k$ Regularization for Supervised Feature Selection [11.927046591097623]
  教師付き特徴選択のための新しい,シンプルで効果的な正規化手法である Top-k$ regularization を導入する。 上位$kの正規化は、教師付き特徴選択に有効で安定であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T01:12:47Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。