論文の概要: Advancing Optimal Subset Oracle via Learning Relaxation of Neural Set Functions

• arxiv url: http://arxiv.org/abs/2607.11555v1
• Date: Mon, 13 Jul 2026 13:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.484058
• Title: Advancing Optimal Subset Oracle via Learning Relaxation of Neural Set Functions
• Title（参考訳）: ニューラルセット関数の学習緩和による最適なサブセットOracleの改善
• Abstract要約: ニューラルセット関数の学習は、AI駆動の薬物発見と製品レコメンデーションにおける複合選択など、幅広い重要な応用に欠かせない。 最近の研究は、事実上弱教師付き設定の下で、集合関数を暗黙的に学習する最適なサブセットを導入している。 これらのフレームワークは、変分分布を更新する際のエビデンスの下限の勾配を推定するためにモンテカルロサンプリングに依存している。 本研究では,集合関数の連続緩和として下限のエビデンスを解釈し,変動最適化におけるサンプリングベースELBO推定に代わる代理目的を学習する。
• 参考スコア（独自算出の注目度）: 41.373161204333435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning neural set functions is pivotal to a wide range of important applications, including compound selection in AI-driven drug discovery and product recommendation. Recent work has introduced optimal subset oracles to implicitly learn set functions under practical weakly supervised settings, where model parameters are optimized through mean-field variational inference. However, these frameworks rely on Monte Carlo sampling to estimate gradients of the evidence lower bound when updating the variational distribution. Repeated sampling across iterations incurs substantial computational overhead, while the resulting stochasticity can destabilize the optimization trajectory. In this work, we reinterpret the evidence lower bound as a continuous relaxation of the set function and learn a surrogate objective that replaces sampling-based ELBO gradient estimation during variational optimization. The learned surrogate provides stable and efficient gradients throughout the continuous domain, thereby reducing computational overhead and accelerating inference. Furthermore, we establish an approximation guarantee for the proposed framework under submodular maximization and characterize its connection to variational free energy. Experiments on a variety of real-world tasks demonstrate consistent improvements over existing baselines.
• Abstract（参考訳）: ニューラルセット関数の学習は、AI駆動の薬物発見と製品レコメンデーションにおける複合選択など、幅広い重要な応用に欠かせない。 最近の研究は、モデルパラメータが平均場変動推論によって最適化されるような、現実的な弱教師付き設定の下で、集合関数を暗黙的に学習する最適なサブセットオラクルを導入している。 しかし、これらのフレームワークは変分分布を更新する際の証拠の勾配を推定するためにモンテカルロサンプリングに依存している。 繰り返しサンプリングを繰り返すとかなりの計算オーバーヘッドが発生し、その結果の確率性は最適化軌道を不安定にすることができる。 本研究では,集合関数の連続緩和として下限のエビデンスを解釈し,変動最適化におけるサンプリングベースELBO勾配推定に代わる代理目的を学習する。 学習されたサロゲートは、連続領域全体にわたって安定かつ効率的な勾配を与え、計算オーバーヘッドを減らし、推論を加速させる。 さらに, 準モジュラ最大化条件下でのフレームワークの近似保証を確立し, 変動自由エネルギーへの接続を特徴付ける。 様々な実世界のタスクの実験は、既存のベースラインよりも一貫した改善を示している。

関連論文リスト

• Learning Perturbations to Extrapolate Your LLM [12.34345212532974]
  埋め込み空間内の連続潜伏ベクトルの学習可能な変換によってトークンプレフィックスが摂動するフレームワークを提案する。 難解な限界確率の挑戦を克服するために、モデルパラメータの方程式を導出し、勾配降下により最適化する。
  論文  参考訳（メタデータ） (2026-05-13T10:00:58Z)
• Gradient-Free Noise Optimization for Reward Alignment in Generative Models [52.42087778653147]
  ZeNOは、経路積分制御問題としてノイズ最適化を定式化する、勾配のないフレームワークである。 効果的な推論時間スケーリングを可能にし、多様なジェネレータと報酬関数間で強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-05-12T00:05:36Z)
• Fine-tuning Factor Augmented Neural Lasso for Heterogeneous Environments [9.523993463071834]
  本稿では、FAN-Lasso(FAN-Lasso)の微細調整因子について紹介する。 FAN-Lassoは、可変選択を伴う高次元非パラメトリック回帰のための伝達学習フレームワークである。 標準ベースラインを一貫して上回り、厳密なターゲットサンプルサイズ制約の下でも、ほぼオーラルに近いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-14T05:01:18Z)
• Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation [5.754044493040163]
  Natural Hypergradient Descent (NHGD) は二段階最適化問題の解法である。 我々の主な理論的貢献は、NHGDの高確率誤差境界とサンプル複雑性保証を確立することである。 代表的二段階学習課題に関する実証評価は、NHGDの実用的利点を示している。
  論文  参考訳（メタデータ） (2026-02-11T14:31:33Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Efficient Group Lasso Regularized Rank Regression with Data-Driven Parameter Determination [2.847099287022546]
  高次元回帰は、しばしば重み付きノイズと外れ値に悩まされ、最小二乗法の信頼性を著しく損なう。 頑健性を改善するため、非滑らかなウィルコクソンスコアに基づくランク目標を採用し、構造化群空間正規化を取り入れた。 また、データ駆動のシミュレーションに基づくチューニングルールを導入し、その結果の予測値に有限サンプル誤差を限定する。
  論文  参考訳（メタデータ） (2025-10-13T15:45:58Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Real-Time Optimization Meets Bayesian Optimization and Derivative-Free Optimization: A Tale of Modifier Adaptation [0.0]
  本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。 提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。 取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
  論文  参考訳（メタデータ） (2020-09-18T12:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。