論文の概要: ReproBAIT: Can coding agents build their own biological AI tools?

• arxiv url: http://arxiv.org/abs/2610.19810v1
• Date: Wed, 14 Oct 2026 08:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.04322
• Title: ReproBAIT: Can coding agents build their own biological AI tools?
• Title（参考訳）: ReproBAIT: コーディングエージェントは、独自の生物学的AIツールを構築できますか?
• Abstract要約: ReproBAIT(Reduce Biological AI Tools)と題する評価について紹介する。 公開研究から得られた生物学的AIツールを設計、実装、訓練するためのコーディングエージェントの能力を測定する。 逆タンパク質折り畳みツールであるProteinMPNN、全原子生成拡散ツールであるRFdiffusion3、クローズドソース分子設計ツールである。
• 参考スコア（独自算出の注目度）: 1.5807552166559855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly competent at leveraging scientific knowledge and existing computational tools to execute complex workflows. At present, little information exists on their ability to reconstruct tools when given limited descriptions of such tools. We introduce an evaluation titled ReproBAIT (Reproducing Biological AI Tools), which measures the ability of coding agents to design, implement, and train biological AI tools taken from published research across a range of information access conditions. The coding agent is securely sandboxed without internet access and receives training data, a fixed time and compute budget, and limited information about the tool to replicate. We then score the reproduced biological AI tool based on its performance (tool-specific metrics) on held-out data. We evaluated a set of biological AI tools of varying complexities: ProteinMPNN, an inverse protein folding tool, RFdiffusion3, an all-atom generative diffusion tool, and a closed-source molecular design tool. We institute a methodology to check for memorisation, as the open source tools are likely to be included in models' pretraining corpus. Across a range of leading closed- and open-source coding agents, we find substantial reproduction capability for some selected tools, though limited capability for a highly complex tool. We find moderate evidence consistent with memorisation, varying across coding agents. These results suggest that tool developers need to be increasingly cautious when releasing information about the tools publicly; re-creation of the tool based on such information could undermine a tool's commercial value or invalidate dual-use managed access strategies.
• Abstract（参考訳）: 大規模言語モデルは、複雑なワークフローを実行するために科学的知識と既存の計算ツールを活用する能力がますます高まっている。 現在、これらの道具の限られた記述が与えられた際には、道具を復元する能力についてはほとんど情報がない。 我々はReproBAIT(Re Production Biological AI Tools)という名の評価手法を導入する。これは、さまざまな情報アクセス条件で公開された研究から得られた生物学的AIツールを設計、実装、訓練するためのコーディングエージェントの能力を測定する。 符号化エージェントは、インターネットアクセスなしで安全にサンドボックス化され、トレーニングデータ、固定時間と計算予算、複製ツールに関する限られた情報を受け取る。 次に、保持されたデータに基づいて、そのパフォーマンス(ツール固有のメトリクス)に基づいて、再生された生物学的AIツールをスコアします。 逆タンパク質折り畳みツールであるProteinMPNN,全原子生成拡散ツールであるRFdiffusion3,およびクローズドソース分子設計ツールである。 我々は,オープンソースツールがモデルの事前学習コーパスに含まれる可能性が高いため,暗記をチェックする方法論を構築した。 クローズドおよびオープンソースコーディングエージェントの幅広い分野において、高度に複雑なツールには制限があるが、選択したツールには相当な再現能力がある。 私たちは、暗記と整合した適度な証拠を見つけ、コーディングエージェントによって異なる。 これらの結果から,ツールに関する情報を公開する際には,ツール開発者の注意が必要であることが示唆される。そのような情報に基づいたツールの再作成は,ツールの商業的価値を損なったり,デュアルユース管理アクセス戦略を無効化したりする可能性がある。

関連論文リスト

• SciToolAgent-Evo: An Ontology-Aware Self-Evolving Agent for Open-World Scientific Tool Acquisition [53.36281538053445]
  SciToolAgent-Evoは,オープンワールドの科学ツール獲得のためのオントロジーを意識した自己進化エージェントである。 スキル、経験、およびオンロジ化されたツールグラフの進化した記憶によって駆動され、蓄積中の対照的な軌跡から一般化可能な知識を抽出する。 新たなツールが取得されると、その科学的知識はオンラインで完了し、既知のグラフにシームレスに統合される。
  論文  参考訳（メタデータ） (2026-07-30T08:47:11Z)
• SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
  大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。 Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。 我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2026-06-15T11:37:37Z)
• El Agente Forjador: Task-Driven Agent Generation for Quantum Simulation [7.535793342235731]
  El Agente Forjadorは、ユニバーサルコーディングエージェントが自律的にフォークし、検証し、再利用するマルチエージェントフレームワークである。 ツール生成と再利用のフレームワークがベースラインの精度を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2026-04-16T04:28:56Z)
• ToolRosetta: Bridging Open-Source Repositories and Large Language Model Agents through Automated Tool Standardization [51.92237664440418]
  ToolRosettaは、オープンソースのコードリポジトリとAPIを自動的にMPP互換のツールに変換するフレームワークである。 ユーザタスクが与えられた場合、ToolRosettaはツールチェーンを自律的に計画し、関連するツールチェーンを特定し、実行可能なMPPサービスに変換する。
  論文  参考訳（メタデータ） (2026-03-10T07:19:43Z)
• ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
  外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。 このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。 構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-09T04:11:16Z)
• ToolBrain: A Flexible Reinforcement Learning Framework for Agentic Tools [4.751741320941162]
  ToolBrainはフレキシブル強化学習(RL)を備えたエージェントモデルで使用されるコーチングツールのフレームワーク GRPOやDPOといったRLアルゴリズムや教師あり学習など、幅広いトレーニング戦略をサポートしている。 効率的な開発のための大規模から小規模なモデルからの知識蒸留、ツール記述からのタスクの自動生成、シームレスなツール検索、UnslothによるQLoRAによる効率的な微調整パイプライン、ビット/バイトによる量子化推論など、有用な機能を備えている。
  論文  参考訳（メタデータ） (2025-09-24T16:01:05Z)
• LLM Agents Making Agent Tools [2.5529148902034637]
  ツールの使用は、大規模言語モデル(LLM)を、複雑なマルチステップタスクを実行できる強力なエージェントに変えた。 しかし、これらのツールは人間の開発者によって事前に実装されなければならない。 論文をコードで自律的にLLM互換のツールに変換するエージェントフレームワークであるToolMakerを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:44:11Z)
• Tool Learning with Foundation Models [158.8640687353623]
  基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。 その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
  論文  参考訳（メタデータ） (2023-04-17T15:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。