論文の概要: Enhancing selectivity using Wasserstein distance based reweighing
- arxiv url: http://arxiv.org/abs/2401.11562v1
- Date: Sun, 21 Jan 2024 18:43:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 15:57:44.982091
- Title: Enhancing selectivity using Wasserstein distance based reweighing
- Title（参考訳）: Wasserstein distance based reweighing を用いた選択性向上
- Authors: Pratik Worah
- Abstract要約: 損失関数を再検討するために, 単純で効率的なグリージーアルゴリズムを設計する。
モチベーション応用として、我々はニューラルネットをトレーニングし、MNK1への非結合体であるMNK2への小さな分子結合体を認識する。
- 参考スコア（独自算出の注目度）: 1.930852251165745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given two labeled data-sets $\mathcal{S}$ and $\mathcal{T}$, we design a
simple and efficient greedy algorithm to reweigh the loss function such that
the limiting distribution of the neural network weights that result from
training on $\mathcal{S}$ approaches the limiting distribution that would have
resulted by training on $\mathcal{T}$.
On the theoretical side, we prove that when the metric entropy of the input
data-sets is bounded, our greedy algorithm outputs a close to optimal
reweighing, i.e., the two invariant distributions of network weights will be
provably close in total variation distance. Moreover, the algorithm is simple
and scalable, and we prove bounds on the efficiency of the algorithm as well.
Our algorithm can deliberately introduce distribution shift to perform (soft)
multi-criteria optimization. As a motivating application, we train a neural net
to recognize small molecule binders to MNK2 (a MAP Kinase, responsible for cell
signaling) which are non-binders to MNK1 (a highly similar protein). We tune
the algorithm's parameter so that overall change in holdout loss is negligible,
but the selectivity, i.e., the fraction of top 100 MNK2 binders that are MNK1
non-binders, increases from 54\% to 95\%, as a result of our reweighing. Of the
43 distinct small molecules predicted to be most selective from the enamine
catalog, 2 small molecules were experimentally verified to be selective, i.e.,
they reduced the enzyme activity of MNK2 below 50\% but not MNK1, at 10$\mu$M
-- a 5\% success rate.
- Abstract（参考訳）: 2つのラベル付きデータセット$\mathcal{s}$と$\mathcal{t}$が与えられると、$\mathcal{s}$のトレーニングから得られるニューラルネットワーク重みの制限分布が$\mathcal{t}$のトレーニングによって生じる制限分布に近づくように、損失関数を緩和するために、単純で効率的なグリーディアルゴリズムを設計する。
理論的には、入力データセットの計量エントロピーが有界である場合、我々のグリーディアルゴリズムは最適緩和に近い値、すなわちネットワーク重みの2つの不変分布が全変動距離において確実に近いことを証明している。
さらに,アルゴリズムは単純でスケーラブルであり,アルゴリズムの効率性にも限界があることを示す。
提案アルゴリズムは,分散シフトを意図的に導入し,(ソフト)マルチ基準最適化を実現する。
モチベーション・アプリケーションとして、mnk1(非常に類似したタンパク質)と非バイダーであるmnk2(mapキナーゼ、細胞シグナル伝達に関与する)に小さな分子バインダーを認識する神経ネットを訓練する。
我々は、ホールドアウト損失の全体的な変化が無視できるようにアルゴリズムのパラメータを調整するが、選択性、すなわち、MNK1非バインダーである上位100個のMNK2バインダーの比率は、リウィーディングの結果、54\%から95\%に増加する。
エナミンカタログから最も選択的であると予測された43個の小さな分子のうち、2つの小さな分子が選択的であることが実験的に証明された。
関連論文リスト
- Learning Adversarial Low-rank Markov Decision Processes with Unknown
Transition and Full-information Feedback [30.23951525723659]
本研究は,全情報フィードバック設定において,逆向きに損失が変化する低ランクMDPについて検討する。
政策最適化に基づくアルゴリズムPOLOを提案し、$widetildeO(Kfrac56Afrac12dln (1+M)/ (1-gamma)2)$ regret guarantee。
論文 参考訳（メタデータ） (2023-11-14T03:12:43Z) - A Doubly Robust Approach to Sparse Reinforcement Learning [19.68978899041642]
エピソードスパークリニアマルコフ決定過程(SMDP)に対する新しい後悔アルゴリズムを提案する。
提案アルゴリズムは$tildeO(sigma-1_min s_star H sqrtN)$である。
論文 参考訳（メタデータ） (2023-10-23T18:52:17Z) - Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement
Learning: Adaptivity and Computational Efficiency [90.40062452292091]
本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。
我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。
また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-21T00:17:24Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Computationally Efficient Horizon-Free Reinforcement Learning for Linear
Mixture MDPs [111.75736569611159]
線形混合MDPのための計算効率のよい初めての地平線フリーアルゴリズムを提案する。
我々のアルゴリズムは、未知の遷移力学に対する重み付き最小二乗推定器に適応する。
これにより、$sigma_k2$'sが知られているときに、この設定で最もよく知られたアルゴリズムも改善される。
論文 参考訳（メタデータ） (2022-05-23T17:59:18Z) - SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。
二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。
CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文 参考訳（メタデータ） (2021-02-16T07:03:51Z) - Provably Efficient Reinforcement Learning for Discounted MDPs with
Feature Mapping [99.59319332864129]
本稿では,割引決定(MDP)のための強化学習について検討する。
本稿では,特徴写像を利用した新しいアルゴリズムを提案し,$tilde O(dsqrtT/ (1-gamma)2)$ regretを求める。
以上の結果から,提案した強化学習アルゴリズムは,最大1-γ-0.5$の係数でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-23T17:08:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。