論文の概要: Overconfident Oracles: Limitations of In Silico Sequence Design Benchmarking

• arxiv url: http://arxiv.org/abs/2502.17246v1
• Date: Mon, 24 Feb 2025 15:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:53:05.894538
• Title: Overconfident Oracles: Limitations of In Silico Sequence Design Benchmarking
• Title（参考訳）: 自信過剰なOracle:Siicoのシーケンス設計ベンチマークの制限
• Authors: Shikha Surana, Nathan Grinsztajn, Timothy Atkinson, Paul Duckworth, Thomas D. Barrett,
• Abstract要約: 文献に共通するMLオーラクルを利用した12のシーケンス設計手法について検討する。 一貫性と堅牢性には大きな課題があります。 本稿では, 生成配列の生存可能性を評価するために, バイオ物理指標を用いて評価を補足することを提案する。
• 参考スコア（独自算出の注目度）: 5.359378066251386
• License:
• Abstract: Machine learning methods can automate the in silico design of biological sequences, aiming to reduce costs and accelerate medical research. Given the limited access to wet labs, in silico design methods commonly use an oracle model to evaluate de novo generated sequences. However, the use of different oracle models across methods makes it challenging to compare them reliably, motivating the question: are in silico sequence design benchmarks reliable? In this work, we examine 12 sequence design methods that utilise ML oracles common in the literature and find that there are significant challenges with their cross-consistency and reproducibility. Indeed, oracles differing by architecture, or even just training seed, are shown to yield conflicting relative performance with our analysis suggesting poor out-of-distribution generalisation as a key issue. To address these challenges, we propose supplementing the evaluation with a suite of biophysical measures to assess the viability of generated sequences and limit out-of-distribution sequences the oracle is required to score, thereby improving the robustness of the design procedure. Our work aims to highlight potential pitfalls in the current evaluation process and contribute to the development of robust benchmarks, ultimately driving the improvement of in silico design methods.
• Abstract（参考訳）: 機械学習手法は、コスト削減と医学研究の加速を目的として、生物配列のシリコ設計を自動化することができる。 湿式実験室へのアクセスが限られているため、シリコの設計法では、一般にデ・ノボ生成配列を評価するためにオラクルモデルを使用する。 しかし、メソッド間で異なるオラクルモデルを使用することで、それらを確実に比較することが難しくなる。 本研究では,文献に共通するMLオーラクルを利用した12のシーケンス設計手法について検討し,その相互整合性と再現性に重大な課題があることを見出した。 実際、アーキテクチャによって異なるオラクル、あるいは単に訓練シードでさえも、我々の分析と矛盾する相対的なパフォーマンスをもたらすことが示されています。 これらの課題に対処するため,本研究では, 生化学的手法を用いて, 生成配列の生存可能性を評価し, オラクルが採点に要する分布外配列を制限することで, 設計手順の堅牢性を向上させることを提案する。 我々の研究は、現在の評価プロセスにおける潜在的な落とし穴を強調し、ロバストなベンチマークの開発に貢献し、最終的にシリコ設計手法の改善を促進することを目的としている。

関連論文リスト

• Case for a unified surrogate modelling framework in the age of AI [0.0]
  我々は,サロゲートモデルの開発と評価をガイドする統合フレームワークの必要性を論じる。 本稿では,サロゲートモデリングの信頼性の向上,学際的知識伝達の促進,科学的な進歩の促進を図る。
  論文  参考訳（メタデータ） (2025-02-10T18:31:15Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Decomposable Transformer Point Processes [2.1756081703276]
  本稿では,注目に基づくアーキテクチャの利点の維持と,薄型化アルゴリズムの限界を回避する枠組みを提案する。 提案手法は,その履歴が与えられたシーケンスの次の事象を予測する上で,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-26T13:22:58Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Scalable Intervention Target Estimation in Linear Models [52.60799340056917]
  因果構造学習への現在のアプローチは、既知の介入目標を扱うか、仮説テストを使用して未知の介入目標を発見する。 本稿では、全ての介入対象を一貫して識別するスケーラブルで効率的なアルゴリズムを提案する。 提案アルゴリズムは、与えられた観測マルコフ同値クラスを介入マルコフ同値クラスに更新することも可能である。
  論文  参考訳（メタデータ） (2021-11-15T03:16:56Z)
• Symbolic Regression by Exhaustive Search: Reducing the Search Space Using Syntactical Constraints and Efficient Semantic Structure Deduplication [2.055204980188575]
  シンボリック回帰は、モデル構造に関する事前の知識が得られない産業シナリオにおいて、強力なシステム識別技術である。 この章では、これらの問題に対処するために特別に設計された決定論的シンボリック回帰アルゴリズムを紹介します。 全ての可能なモデルの有限列挙は、構造的制約と意味論的に等価な解を検出するキャッシング機構によって保証される。
  論文  参考訳（メタデータ） (2021-09-28T17:47:51Z)
• Continuous surrogate-based optimization algorithms are well-suited for expensive discrete problems [9.655888042539495]
  本研究では, 連続代理モデルを用いることで, 最先端の離散代理モデルと競合する性能を示す実証的証拠を示す。 異なる離散構造と時間的制約に関する我々の実験は、どのアルゴリズムがどの種類の問題でうまく機能するかについての洞察を与える。
  論文  参考訳（メタデータ） (2020-11-06T15:27:45Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。