論文の概要: Contrastive losses as generalized models of global epistasis

• arxiv url: http://arxiv.org/abs/2305.03136v4
• Date: Tue, 15 Oct 2024 22:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 17:35:39.737903
• Title: Contrastive losses as generalized models of global epistasis
• Title（参考訳）: 大域 atstasis の一般化モデルとしてのコントラスト損失
• Authors: David H. Brookes, Jakub Otwinowski, Sam Sinai,
• Abstract要約: 適合関数は、生物列の大きな空間を興味のある性質にマッピングする。 グローバルなエピスタシスモデルは、スパース潜伏関数が単調非線形性によって変換され、測定可能な適合度が生成されると仮定する。 我々は,MSEが有効でない制度においても,限られたデータからランキング関数を正確に推定できることを示す。
• 参考スコア（独自算出の注目度）: 0.5461938536945721
• License:
• Abstract: Fitness functions map large combinatorial spaces of biological sequences to properties of interest. Inferring these multimodal functions from experimental data is a central task in modern protein engineering. Global epistasis models are an effective and physically-grounded class of models for estimating fitness functions from observed data. These models assume that a sparse latent function is transformed by a monotonic nonlinearity to emit measurable fitness. Here we demonstrate that minimizing supervised contrastive loss functions, such as the Bradley-Terry loss, is a simple and flexible technique for extracting the sparse latent function implied by global epistasis. We argue by way of a fitness-epistasis uncertainty principle that the nonlinearities in global epistasis models can produce observed fitness functions that do not admit sparse representations, and thus may be inefficient to learn from observations when using a Mean Squared Error (MSE) loss (a common practice). We show that contrastive losses are able to accurately estimate a ranking function from limited data even in regimes where MSE is ineffective and validate the practical utility of this insight by demonstrating that contrastive loss functions result in consistently improved performance on benchmark tasks.
• Abstract（参考訳）: 充足関数は、生物列の大きな組合せ空間を興味のある性質にマッピングする。 実験データからこれらのマルチモーダル関数を推定することは、現代のタンパク質工学における中心的な課題である。 グローバル・エピスタシス・モデル(Global epistasis model)は、観測データからフィットネス関数を推定するための、効果的で物理的に座屈したモデルのクラスである。 これらのモデルは、スパース潜在関数が単調非線形性によって変換され、測定可能な適合度が生成されると仮定する。 ここでは、Bradley-Terry損失のような教師付きコントラスト損失関数の最小化は、大域的なエピスタシスによって示唆されるスパース潜在関数を抽出するための単純で柔軟な手法であることを示す。 我々は、大域的エピスタシスモデルの非線形性は、疎表現を含まない観察されたフィットネス関数を生成できるため、平均二乗誤差(MSE)損失を用いた場合の観察から学ぶのが非効率であると主張する。 コントラスト損失は,MSEが有効でない状況においても,限られたデータから精度よくランキング関数を推定できることを示すとともに,コントラスト損失関数がベンチマークタスクの性能を一貫して改善することを示すことによって,この知見の実用性を検証することができる。

関連論文リスト

• Curve Your Enthusiasm: Concurvity Regularization in Differentiable Generalized Additive Models [5.519653885553456]
  GAM(Generalized Additive Models)はその解釈可能性のために最近人気が回復した。 我々は,GAMの解釈可能性の低下がいかに深刻かを示す。 線形変換しない特徴変数の相互相関をペナルティ化した,概念的には単純だが効果的な正則化器を提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:55:49Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• On the Efficacy of Generalization Error Prediction Scoring Functions [33.24980750651318]
  一般化誤差予測器(GEP)は,サンプルレベルのスコアからデータセットレベルの誤差推定を導出することにより,未知分布のモデル性能を予測することを目的としている。 機構選択に依存しない一般的なスコアリング関数(自信,局所多様体の滑らかさ,モデル適合性)の有効性を厳密に研究する。
  論文  参考訳（メタデータ） (2023-03-23T18:08:44Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of Modulated Cross-Entropy in Natural Language Inference [0.0]
  一部のデータセットでは、深層ニューラルネットワークが学習プロセスのショートカットを可能にする基盤を発見し、結果として一般化能力が低下する。 標準のクロスエントロピーを使う代わりに、焦点損失と呼ばれる変調されたクロスエントロピーが、基礎を使わずに一般化性能を向上させるためにモデルを制約できるかどうかを検討する。 自然言語推論実験により, 焦点損失は学習過程に一定の影響を与え, 分布外データの精度は向上するが, 分布内データの性能はわずかに低下することがわかった。
  論文  参考訳（メタデータ） (2022-11-23T22:19:00Z)
• A Fair Loss Function for Network Pruning [93.0013343535411]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 偏見分類器を用いた顔分類と皮膚記述分類タスクの実験により,提案手法が簡便かつ効果的なツールであることを実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Efficient Multidimensional Functional Data Analysis Using Marginal Product Basis Systems [2.4554686192257424]
  多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。 本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。 我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
  論文  参考訳（メタデータ） (2021-07-30T16:02:15Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。