論文の概要: AI-Assisted Computational Reproducibility on the FABRIC Testbed

• arxiv url: http://arxiv.org/abs/2606.25879v1
• Date: Wed, 24 Jun 2026 14:23:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.358365
• Title: AI-Assisted Computational Reproducibility on the FABRIC Testbed
• Title（参考訳）: FABRICテストベッドにおけるAI支援計算再現性
• Abstract要約: FABRICテストベッドと,LoomAIを用いた大規模言語モデル(LLM)コーディングアシスタントを組み合わせることで,複数の領域にわたる実験の再現を簡易化できることを示す。 FABRICの3つのケーススタディを再現し,BBRファミリーの混雑制御評価,CPUのみのMPIクラスタ上でのLAMMPS分子動力学スケーリングベンチマーク,ストレスタンパク質ホメオスタシスゲノムパイプラインについて検討した。 ケーススタディ全体を通じて、AI支援ワークフローにより、再現の労力は約4～6倍削減された。
• 参考スコア（独自算出の注目度）: 2.756713570455716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational reproducibility remains difficult despite being central to scientific research. In this paper, we show how the international FABRIC testbed, combined with large language model (LLM) coding assistants through LoomAI, can simplify reproducing published experiments across multiple domains. We reproduced three case studies on FABRIC, covering BBR-family congestion-control evaluations, LAMMPS molecular dynamics scaling benchmarks on a CPU-only MPI cluster, and stress protein homeostasis genomics pipelines. Rather than focusing only on matching numerical outputs, we evaluate whether the reproduced experiments support the same scientific conclusions as the original studies. The AI assistant was effective in setting up the environment, adapting code, and debugging, but struggled with the analysis stages that lacked clearly defined workflows, which required human guidance to establish execution order and data dependencies. Across the case studies, the AI-assisted workflow reduced reproduction effort by roughly 4--6 times. We conclude with practical recommendations for improving AI-assisted reproducibility on research testbeds.
• Abstract（参考訳）: 計算再現性は、科学研究の中心であるにもかかわらず、依然として困難である。 本稿では、国際FABRICテストベッドとLoomAIによる大規模言語モデル(LLM)コーディングアシスタントを組み合わせることで、複数のドメインにわたる実験の再現を簡単にする方法について述べる。 FABRICの3つのケーススタディを再現し,BBRファミリーの混雑制御評価,CPUのみのMPIクラスタ上でのLAMMPS分子動力学スケーリングベンチマーク,ストレスタンパク質ホメオスタシスゲノムパイプラインについて検討した。 数値出力のマッチングにのみ焦点をあてるのではなく、再現された実験が元の研究と同じ科学的結論を支持するかどうかを評価する。 AIアシスタントは、環境の設定、コードの適用、デバッグに効果的だったが、明確に定義されたワークフローが欠如している分析段階に苦慮した。 ケーススタディ全体を通じて、AI支援ワークフローにより、再現の労力は約4～6倍削減された。 実験室におけるAI支援再現性向上のための実践的勧告を締めくくった。

関連論文リスト

• Claw AI Lab: An Autonomous Multi-Agent Research Team [73.07229229907435]
  今回紹介するClaw AI Labは,ラボネイティブな自律型研究プラットフォームである。 1つのエージェントや固定されたシリアルワークフローを中心にシステムを集中するのではなく、ユーザーは1つのプロンプトから完全な研究チームをインスタンス化できる。 Claw-Code Harnessはローカル、データセット、チェックポイントを接続して実行可能な実験を行い、実行成果物を研究ループにフィードバックする。
  論文  参考訳（メタデータ） (2026-05-21T16:02:53Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
  HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。 単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。 批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
  論文  参考訳（メタデータ） (2026-01-04T22:16:42Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research [34.173947968362675]
  AblationBenchは、経験的AI研究におけるアブレーション計画タスクのエージェントを評価するためのベンチマークスイートである。 AuthorAblationは、著者がメソッドセクションに基づいてアブレーション実験を提案するのに役立つ。 両方のタスクに対して,自動評価フレームワークとして機能するLMベースの判断器を開発する。
  論文  参考訳（メタデータ） (2025-07-09T12:07:38Z)
• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• Autonomous Microscopy Experiments through Large Language Model Agents [4.241267255764773]
  大規模言語モデル(LLM)は、材料研究のための自己運転実験室(SDL)に革命をもたらしている。 LLM駆動エージェントによる原子間力顕微鏡の自動化フレームワークであるArtificially Intelligent Lab Assistant (AILA)を紹介する。 アートモデルの現状が,基本的なタスクや調整シナリオに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2024-12-18T09:35:28Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• The NCI Imaging Data Commons as a platform for reproducible research in computational pathology [0.0773931605896092]
  再現性は、計算病理学(CompPath)における機械学習(ML)ベースのソリューション開発における大きな課題である NCI Imaging Data Commons (IDC)は、FAIR原則に従って120以上のがんイメージコレクションを提供し、クラウドMLサービスで使用するように設計されている。 肺腫瘍組織を分類する代表的ML法を訓練し,異なるデータセットで評価する2つの実験を行った。
  論文  参考訳（メタデータ） (2023-03-16T14:32:50Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。