論文の概要: A Differentiable Rank-Based Objective For Better Feature Learning

• arxiv url: http://arxiv.org/abs/2502.09445v1
• Date: Thu, 13 Feb 2025 16:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:17.854646
• Title: A Differentiable Rank-Based Objective For Better Feature Learning
• Title（参考訳）: より優れた特徴学習のための階位に基づく微分型オブジェクト指向
• Authors: Krunoslav Lehman Pavasovic, David Lopez-Paz, Giulio Biroli, Levent Sagun,
• Abstract要約: このアルゴリズムは、その微分可能な性質と学習可能なパラメータのおかげで、幅広い機械学習問題に適用できる。 我々は,おもちゃの例における基本変数選択から,畳み込みネットワークにおけるサリエンシマップ比較まで,ますます複雑な問題に対する difFOCI の評価を行った。
• 参考スコア（独自算出の注目度）: 20.576291802100048
• License:
• Abstract: In this paper, we leverage existing statistical methods to better understand feature learning from data. We tackle this by modifying the model-free variable selection method, Feature Ordering by Conditional Independence (FOCI), which is introduced in \cite{azadkia2021simple}. While FOCI is based on a non-parametric coefficient of conditional dependence, we introduce its parametric, differentiable approximation. With this approximate coefficient of correlation, we present a new algorithm called difFOCI, which is applicable to a wider range of machine learning problems thanks to its differentiable nature and learnable parameters. We present difFOCI in three contexts: (1) as a variable selection method with baseline comparisons to FOCI, (2) as a trainable model parametrized with a neural network, and (3) as a generic, widely applicable neural network regularizer, one that improves feature learning with better management of spurious correlations. We evaluate difFOCI on increasingly complex problems ranging from basic variable selection in toy examples to saliency map comparisons in convolutional networks. We then show how difFOCI can be incorporated in the context of fairness to facilitate classifications without relying on sensitive data.
• Abstract（参考訳）: 本稿では,データからの特徴学習をよりよく理解するために,既存の統計手法を活用する。 本稿では,FOCI (Feature Ordering by Conditional Independence) というモデルフリーな変数選択手法を改良し,この問題に対処する。 FOCIは条件依存の非パラメトリック係数に基づいているが、パラメトリックで微分可能な近似を導入する。 この近似的相関係数を用いて,その微分可能特性と学習可能なパラメータにより,幅広い機械学習問題に適用可能なDifFOCIというアルゴリズムを提案する。 本稿では,(1)ベースライン比較による変数選択法として,(2)ニューラルネットワークにパラメータ化されたトレーニング可能なモデルとして,(3)汎用的かつ広く適用可能なニューラルネットワーク正規化器として,(3)スプリアス相関の管理により特徴学習を改善した,3つの文脈で,difFOCIを提示する。 我々は,おもちゃの例における基本変数選択から,畳み込みネットワークにおけるサリエンシマップ比較まで,ますます複雑な問題に対する difFOCI の評価を行った。 次に、機密データに頼らずに分類を容易にするために、difFOCIをフェアネスの文脈に組み込む方法を示す。

関連論文リスト

• Copula for Instance-wise Feature Selection and Ranking [24.09326839818306]
  本稿では,変数間の相関を捉える強力な数学的手法であるガウスコプラを,現在の特徴選択フレームワークに組み込むことを提案する。 提案手法が有意な相関関係を捉えることができることを示すために, 合成データセットと実データセットの双方について, 性能比較と解釈可能性の観点から実験を行った。
  論文  参考訳（メタデータ） (2023-08-01T13:45:04Z)
• Federated Variational Inference Methods for Structured Latent Variable Models [1.0312968200748118]
  フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。 本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。 また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
  論文  参考訳（メタデータ） (2023-02-07T08:35:04Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
  提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。 提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
  論文  参考訳（メタデータ） (2021-10-26T07:02:14Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• An in-depth comparison of methods handling mixed-attribute data for general fuzzy min-max neural network [9.061408029414455]
  我々は、データセットを混合特徴で扱う3つの主要な方法を比較し、評価する。 実験の結果,ターゲットとJames-SteinはGFMMモデルのアルゴリズムを学習するための適切な分類的符号化法であることがわかった。 GFMMニューラルネットワークと決定木の組み合わせは、データセット上のGFMMモデルの分類性能と混合特徴を向上するフレキシブルな方法である。
  論文  参考訳（メタデータ） (2020-09-01T05:12:22Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。