論文の概要: Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

• arxiv url: http://arxiv.org/abs/2603.26177v1
• Date: Fri, 27 Mar 2026 08:48:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.405999
• Title: Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery
• Title（参考訳）: AI科学者はラベイン・ザ・ループのフィードバックから学ぶことができるか? 反復摂動発見から
• Authors: Gilles Wainrib, Barbara Bodinier, Haitem Dakhli, Josep Monserrat, Almudena Espin Perez, Sabrina Carpentier, Roberta Codato, John Klein,
• Abstract要約: 我々は,大規模言語モデル (LLM) が科学実験設計において真の非コンテキスト学習 (ICL) を実現することができるかどうかを検討した。 実験的なフィードバックを用いて仮説を反復的に更新するLLMエージェントを,事前学習した知識検索のみに依存するゼロショットベースラインと比較する。 この改善が、リコールによる事前学習の知識を促さずに、真のフィードバック駆動学習から生じるかどうかを検証するために、ヒット・ミスラベルを置換したランダムフィードバック制御を導入する。
• 参考スコア（独自算出の注目度）: 1.5851930385781594
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent work has questioned whether large language models (LLMs) can perform genuine in-context learning (ICL) for scientific experimental design, with prior studies suggesting that LLM-based agents exhibit no sensitivity to experimental feedback. We shed new light on this question by carrying out 800 independently replicated experiments on iterative perturbation discovery in Cell Painting high-content screening. We compare an LLM agent that iteratively updates its hypotheses using experimental feedback to a zero-shot baseline that relies solely on pretraining knowledge retrieval. Access to feedback yields a $+53.4\%$ increase in discoveries per feature on average ($p = 0.003$). To test whether this improvement arises from genuine feedback-driven learning rather than prompt-induced recall of pretraining knowledge, we introduce a random feedback control in which hit/miss labels are permuted. Under this control, the performance gain disappears, indicating that the observed improvement depends on the structure of the feedback signal ($+13.0$ hits, $p = 0.003$). We further examine how model capability affects feedback utilization. Upgrading from Claude Sonnet 4.5 to 4.6 reduces gene hallucination rates from ${\sim}33\%$--$45\%$ to ${\sim}3$--$9\%$, converting a non-significant ICL effect ($+0.8$, $p = 0.32$) into a large and highly significant improvement ($+11.0$, $p=0.003$) for the best ICL strategy. These results suggest that effective in-context learning from experimental feedback emerges only once models reach a sufficient capability threshold.
• Abstract（参考訳）: 近年の研究では、LLMをベースとしたエージェントが実験的なフィードバックに敏感でないことを示唆する科学的実験設計のために、大規模言語モデル(LLM)が真にコンテキスト内学習(ICL)を実行できるかどうかが疑問視されている。 セルペイントによる高濃度スクリーニングにおいて,800個の独立に再現された摂動探索実験を行うことにより,この問題に新たな光を当てた。 実験的なフィードバックを用いて仮説を反復的に更新するLLMエージェントを,事前学習した知識検索のみに依存するゼロショットベースラインと比較する。 フィードバックへのアクセスは、平均的な(p = 0.003$)フィーチャ毎の発見の増加を+53.4\%$にする。 この改善が、事前学習知識の即時リコールではなく、真のフィードバック駆動学習から生じるかどうかを検証するために、ヒット・ミスラベルを順応するランダムフィードバック制御を導入する。 この制御の下で、観測された改善はフィードバック信号(+13.0$ hit, $p = 0.003$)の構造に依存していることを示す。 さらに,モデル能力がフィードバック利用に与える影響について検討する。 Claude Sonnet 4.5 4.5 から 4.6 へのアップグレードにより、遺伝子幻覚率は ${\sim}33\%$-45\%$ から ${\sim}3$--9\%$ に減少し、非有意義な ICL 効果 (+0.8$, $p = 0.32$) を、最高の ICL 戦略のために大きく非常に重要な改善 (+11.0$, $p=0.003$) に変換する。 これらの結果は、モデルが十分な能力閾値に達すると、実験的なフィードバックから効果的な文脈内学習が現れることを示唆している。

関連論文リスト

• Inducing Epistemological Humility in Large Language Models: A Targeted SFT Approach to Reducing Hallucination [1.0742675209112622]
  大型言語モデル(LLM)は、しばしば幻覚を起こし、流動性はあるが誤った情報を生成する。 謙虚さを通じてモデルを教えるために、$textitHypoTermInstruct$を導入します。 我々の研究は、目標とする高品質なSFTデータ学習メタ認知スキルが幻覚を効果的に減少させることを示した。
  論文  参考訳（メタデータ） (2026-03-18T09:07:39Z)
• LLMs Can Get "Brain Rot"! [68.08198331505695]
  ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-15T13:28:49Z)
• Layered Unlearning for Adversarial Relearning [4.7066636827902]
  本研究では,言語モデルの振る舞いや表現をポストトレーニング法でどのように修正するかを検討する。 近年の研究では、学習後、特定の応答パターンを抑圧する浅い文脈依存回路'が誘導されることが示唆されている。 この仮説をテストするために、我々は未学習アルゴリズムLayered Unlearning (LU)を設計した。 LUは、データセット全体を復元するために、データのサブセットで再学習する能力を制限する。
  論文  参考訳（メタデータ） (2025-05-14T15:50:45Z)
• Identifying Non-Replicable Social Science Studies with Language Models [2.621434923709917]
  オープンソース (Llama 3 8B, Qwen 2 7B, Mistral 7B) とプロプライエタリ (GPT-4o) 命令調整 LLM の複製可能と非複製可能の区別能力について検討した。 LLMを用いて、行動研究から反応の合成サンプルを生成し、測定結果が元の結果を支持するかどうかを推定する。
  論文  参考訳（メタデータ） (2025-03-10T11:48:05Z)
• Reinforcement Learning with Segment Feedback [56.54271464134885]
  状態ごとの反応フィードバックと軌道フィードバックのギャップを埋める一般的なパラダイムを提供するRLというモデルを考える。 バイナリフィードバックの下では、$m$のセグメント数の増加は指数率で後悔を減少させるが、驚くべきことに、和フィードバックの下では、$m$の増加は後悔を著しく減少させるものではない。
  論文  参考訳（メタデータ） (2025-02-03T23:08:42Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)
• AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback [90.22885814577134]
  大きな言語モデル(LLM)は、その強い命令追従能力のために広く採用されている。 低コストでフィードバックから学習するための研究と開発を可能にするシミュレータを開発した。 実際の10k対のフィードバックに基づいて11のモデルをトレーニングし、評価し、AlpacaFarmでトレーニングされたモデルのランキングが、人間のデータでトレーニングされたモデルのランキングと一致することを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。