論文の概要: Learning Set Functions with Implicit Differentiation
- arxiv url: http://arxiv.org/abs/2412.11239v1
- Date: Sun, 15 Dec 2024 16:42:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:00:23.844931
- Title: Learning Set Functions with Implicit Differentiation
- Title（参考訳）: 暗黙差分による集合関数の学習
- Authors: Gözde Özcan, Chengzhi Shi, Stratis Ioannidis,
- Abstract要約: Ou et al. (2022) は、いわゆる最適部分集合オラクルによって生成されたデータから集合関数を学習する問題を提起した。
これは固定点反復に還元されるが、繰り返しの数が増加するにつれて、自動微分はすぐに計算的に禁止される。
この課題を暗黙の微分で解決し、固定点反復に対する収束条件を検討する。
- 参考スコア（独自算出の注目度）: 8.341447115511269
- License:
- Abstract: Ou et al. (2022) introduce the problem of learning set functions from data generated by a so-called optimal subset oracle. Their approach approximates the underlying utility function with an energy-based model, whose parameters are estimated via mean-field variational inference. Ou et al. (2022) show this reduces to fixed point iterations; however, as the number of iterations increases, automatic differentiation quickly becomes computationally prohibitive due to the size of the Jacobians that are stacked during backpropagation. We address this challenge with implicit differentiation and examine the convergence conditions for the fixed-point iterations. We empirically demonstrate the efficiency of our method on synthetic and real-world subset selection applications including product recommendation, set anomaly detection and compound selection tasks.
- Abstract（参考訳）: Ou et al (2022) は、いわゆる最適部分集合オラクルによって生成されたデータから集合関数を学習する問題を提起した。
それらのアプローチは、平均場変動推定によりパラメータを推定するエネルギーベースモデルと基礎となるユーティリティ関数を近似する。
Ou et al (2022) は、これは固定点反復に還元されることを示しているが、反復数が増えるにつれて、バックプロパゲーションの間に積み重ねられたジャコビアンの大きさのため、自動的に微分が計算的に禁止される。
この課題を暗黙の微分で解決し、固定点反復に対する収束条件を検討する。
製品推薦,セット異常検出,複合選択タスクを含む,合成および実世界のサブセット選択アプリケーションにおける本手法の有効性を実証的に実証した。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Efficient Differentiable Discovery of Causal Order [14.980926991441342]
Intersortは、変数の因果順序を発見するためのスコアベースの方法である。
我々は、差別化可能なソートとランキング技術を用いてインターソートを再構築する。
我々の研究は、因果順の正規化を微分可能なモデルの訓練に効率的に組み込むための扉を開く。
論文 参考訳（メタデータ） (2024-10-11T13:11:55Z) - AnyLoss: Transforming Classification Metrics into Loss Functions [21.34290540936501]
評価指標は、バイナリ分類タスクにおけるモデルの性能を評価するために使用することができる。
ほとんどのメトリクスは、非微分可能形式の混乱行列から派生しており、直接最適化できる微分可能損失関数を生成することは困難である。
本稿では,任意の混乱行列に基づく計量を,最適化プロセスで利用可能な損失関数 textitAnyLoss に変換する汎用的アプローチを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:14:16Z) - Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - Structured model selection via $\ell_1-\ell_2$ optimization [1.933681537640272]
構造化力学系を同定する学習手法を開発した。
候補関数の集合が有界系を成すとき、その回復は安定で有界であることを示す。
論文 参考訳（メタデータ） (2023-05-27T12:51:26Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions [4.389150156866014]
近位分割アルゴリズムの固定点反復にインプリシット(ID)と自動微分(AD)を適用する。
これらのアルゴリズムによって生成される列のADが解写像の微分に収束することを示す。
FPAD(Fixed-Point Automatic Differentiation)と呼ばれる自動微分の変種については、逆モードADのメモリオーバーヘッド問題を改善する。
論文 参考訳（メタデータ） (2022-08-05T11:27:55Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳（メタデータ） (2020-12-09T20:19:32Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳（メタデータ） (2020-01-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。