論文の概要: Negative Dependence as a toolbox for machine learning : review and new developments

• arxiv url: http://arxiv.org/abs/2502.07285v1
• Date: Tue, 11 Feb 2025 06:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:08:54.904616
• Title: Negative Dependence as a toolbox for machine learning : review and new developments
• Title（参考訳）: 機械学習のツールボックスとしての否定的依存 : レビューと新しい展開
• Authors: Hoang-Son Tran, Vladimir Petrovic, Remi Bardenet, Subhroshekhar Ghosh,
• Abstract要約: 負の依存は、伝統的な独立の限界を越えて学習能力を前進させる上で重要な要因になりつつある。 最も一般的な負依存モデルとして、決定点過程(DPP)がある。 本稿では,DPPをニューラルネットワークの擬似表現に適用した新しい結果を提案する。
• 参考スコア（独自算出の注目度）: 5.999777817331317
• License:
• Abstract: Negative dependence is becoming a key driver in advancing learning capabilities beyond the limits of traditional independence. Recent developments have evidenced support towards negatively dependent systems as a learning paradigm in a broad range of fundamental machine learning challenges including optimization, sampling, dimensionality reduction and sparse signal recovery, often surpassing the performance of current methods based on statistical independence. The most popular negatively dependent model has been that of determinantal point processes (DPPs), which have their origins in quantum theory. However, other models, such as perturbed lattice models, strongly Rayleigh measures, zeros of random functions have gained salience in various learning applications. In this article, we review this burgeoning field of research, as it has developed over the past two decades or so. We also present new results on applications of DPPs to the parsimonious representation of neural networks. In the limited scope of the article, we mostly focus on aspects of this area to which the authors contributed over the recent years, including applications to Monte Carlo methods, coresets and stochastic gradient descent, stochastic networks, signal processing and connections to quantum computation. However, starting from basics of negative dependence for the uninitiated reader, extensive references are provided to a broad swath of related developments which could not be covered within our limited scope. While existing works and reviews generally focus on specific negatively dependent models (e.g. DPPs), a notable feature of this article is that it addresses negative dependence as a machine learning methodology as a whole. In this vein, it covers within its span an array of negatively dependent models and their applications well beyond DPPs, thereby putting forward a very general and rather unique perspective.
• Abstract（参考訳）: 負の依存は、伝統的な独立の限界を越えて学習能力を前進させる上で重要な要因になりつつある。 近年の進歩は、最適化、サンプリング、次元減少、スパース信号の回復を含む幅広い機械学習の課題において、学習パラダイムとしての負依存システムへの支持が、しばしば統計的独立性に基づく現在の手法のパフォーマンスを上回ることが証明されている。 最も一般的な負依存モデルは決定点過程 (Determinantal point process, DPPs) であり、量子論に起源を持つ。 しかし、摂動格子モデルや強いレイリー測度のような他のモデルでは、ランダム関数のゼロは様々な学習応用においてサリエンスを得ている。 本稿では,過去20年ほどで発展してきたこの急成長する研究分野について概観する。 また,DPPをニューラルネットワークの擬似表現に適用する新たな結果も提示する。 この記事の限られた範囲では、筆者らが近年コントリビューションした領域の側面を中心に、モンテカルロ法、コアセット、確率勾配降下、確率ネットワーク、信号処理、量子計算への接続などについて論じている。 しかし、未開始読者に対する負の依存の基礎から、我々の限られた範囲内ではカバーできない幅広い関連開発への広範な参照が提供される。 既存の作業やレビューは一般的に、特定の負依存モデル(例えば、DPP)に焦点を当てていますが、今回の記事で注目すべき特徴は、マシンラーニングの方法論全体としての負依存に対処することです。 この静脈内では、負に依存するモデルの配列とそれらの応用を DPP を超えてカバーし、非常に一般的でより特異な視点を推し進める。

関連論文リスト

• Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
  本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。 我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
  論文  参考訳（メタデータ） (2024-10-18T05:23:39Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Improving Multi-Interest Network with Stable Learning [13.514488368734776]
  Deep Stable Multi-Interest Learning (DESMIL) という新しい多目的ネットワークを提案する。 DESMILは、収集した関心事間の微妙な依存関係の影響を、トレーニングサンプルの学習重みによって排除しようとする。 我々は、パブリックレコメンデーションデータセット、大規模産業データセット、合成データセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-07-14T07:49:28Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Wide Network Learning with Differential Privacy [7.453881927237143]
  現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。 プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。 同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-01T20:31:50Z)
• TimeSHAP: Explaining Recurrent Models through Sequence Perturbations [3.1498833540989413]
  リカレントニューラルネットワークは、多くの機械学習ドメインで標準的なビルディングブロックである。 これらのモデルにおける複雑な意思決定はブラックボックスと見なされ、正確性と解釈可能性の間の緊張を生み出す。 本研究では,モデルに依存しないリカレント説明器であるTimeSHAPを提示することにより,これらのギャップを埋めることに寄与する。
  論文  参考訳（メタデータ） (2020-11-30T19:48:57Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• DeepNNK: Explaining deep models and their generalization using polytope interpolation [42.16401154367232]
  我々は,局所的なポリトープ生成手法を導入することにより,ニューラルネットワークの理解を深める。 提案したDeep Non Negative Kernel regression (NNK) フレームワークは、非生成的、理論的には単純、幾何学的に直感的である。
  論文  参考訳（メタデータ） (2020-07-20T22:05:24Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。