論文の概要: Does reflective LLM feedback survive a wet-lab-scale label budget?

• arxiv url: http://arxiv.org/abs/2611.01908v1
• Date: Sun, 01 Nov 2026 13:50:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:18:04.934097
• Title: Does reflective LLM feedback survive a wet-lab-scale label budget?
• Title（参考訳）: 反射型LDMフィードバックは、ウェットラブスケールのラベル予算に耐えられるか?
• Abstract要約: 反射型言語モデルフィードバックは、各サイクルが1枚のラベルだけを購入すると、生物学的予測器を改善することができる。 まず、960ドルのレーベルから始まり、6ラウンドで1ラウンドにつき960ドルの資金を調達した。 ランダムな取得の修正により、LLM編集はFisher変換テストのSpearmanを、編集なしで0.043$で改善する。 繰り返しフィードバックは、完全なコントロール下での1つの最初のレコメンデーションを確実に上回らない。
• 参考スコア（独自算出の注目度）: 9.974135946451236
• License:
• Abstract: Can reflective language-model feedback improve a biological predictor when each cycle buys only one plate of labels? We separate three possible sources of benefit: proposing model edits, choosing measurements, and revising decisions through repeated feedback. We replay $36$ ProteinGym assays, starting with $96$ labels and acquiring $96$ per round for six rounds, with a sealed test set and a shared edit schema. The pre-specified comparison of full LLM control against random edits detects no advantage in test rank correlation ($Δz=-0.008$, $95\%$ CI $[-0.034,+0.018]$); equivalence is also unestablished. Exploratory ablations nevertheless identify useful model editing. With random acquisition fixed, LLM edits improve Fisher-transformed test Spearman by $0.043$ over no edits; with acquisition fixed to upper confidence bound, they improve normalized top-variant recovery by $0.023$. LLM acquisition alone does not detectably outperform fixed adaptive rules, and repeated feedback does not detectably outperform one initial recommendation under full control. Thus, the observed gains support constrained specialist editing, while the incremental value of recursive reflection remains unestablished at this label budget.
• Abstract（参考訳）: 反射型言語モデルフィードバックは,各サイクルがラベルを1枚だけ購入した場合,生物学的予測器を改善することができるのか? モデル編集の提案、測定の選択、繰り返しフィードバックによる意思決定の修正という3つのメリットの源泉を分けます。 まず960ドル(約9万3000円)のラベルから始まり、6ラウンドで1ラウンドあたり960ドル(約9万3000円)を調達し、封印されたテストセットと共有編集スキーマを用意しました。 ランダム編集に対する完全なLSM制御の事前比較では、テストランク相関(Δz=-0.008$, 9,5\%$ CI $[-0.034,+0.018]$)の利点は検出されない。 それにもかかわらず、探索的改善は有用なモデル編集を識別する。 ランダムな取得を固定し、LLM編集はフィッシャー変換テストのSpearmanを編集なしで0.043$改善する。 LLMの取得だけでは、固定適応規則よりは検出し得ず、繰り返しフィードバックは、完全な制御下での1つの初期推奨よりは検出し得ない。 したがって、このラベル予算では再帰的リフレクションの漸進的な価値が確立されていないのに対して、観察されたゲインは専門的な編集を制約する。

関連論文リスト

• How to post-train on a surrogate: Envelope sampling mitigates reward hacking [63.719332033414084]
  大規模な言語モデル(LLM)は、人間の好みのような真の報酬が大規模にクエリするには高すぎるため、サロゲートに対して後から訓練されることが多い。 この慣行は、しばしば報酬のハッキングにつながります。そこでは、サロゲートに対する強化学習は、望ましくない副作用をもたらします。 本研究では,学習後モデルの後悔に対する上限を最小化するために,理論的に定位化された再校正法である封筒サンプリングを提案する。
  論文  参考訳（メタデータ） (2026-10-08T05:48:31Z)
• Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
  本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
  論文  参考訳（メタデータ） (2026-09-26T08:54:21Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• Phantom Gains: Auditing Self-Improvement Against a Measured Null [10.74609430659738]
  我々は、Qwen3-8Bで32ドル(約2万2000円)のLoRA自己訓練を行い、同じパイプラインを通り抜ける凍結制御を行った。 我々は7つの測定失敗を識別し、それぞれが、その制御が欠如しているときに報告された発見を逆転させる。
  論文  参考訳（メタデータ） (2026-08-20T17:30:14Z)
• Joint Affine Spectral Shaping: Coupling Weight and Bias Updates Beyond Weight-Only Muon [11.323131201168572]
  行列スペクトルは重み付けされたスペクトルを再構成するが、通常はベクトル値バイアスを別のスペクトルに委譲する。 それぞれのアフィン層を合同運動量行列 $A=[M_W,m_b]$ として定式化し、正則化逆スペクトル写像を完全行列に適用する。 IMDbでスクラッチから訓練した4層BERT-miniの厳密な5シードアブレーションは、SVDミューオン、重量のみの逆整形、アフィンプローブ逆整形、および提案された関節正則逆整形と比較した。
  論文  参考訳（メタデータ） (2026-08-04T01:08:33Z)
• Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery [1.5851930385781594]
  我々は,大規模言語モデル (LLM) が科学実験設計において真の非コンテキスト学習 (ICL) を実現することができるかどうかを検討した。 実験的なフィードバックを用いて仮説を反復的に更新するLLMエージェントを,事前学習した知識検索のみに依存するゼロショットベースラインと比較する。 この改善が、リコールによる事前学習の知識を促さずに、真のフィードバック駆動学習から生じるかどうかを検証するために、ヒット・ミスラベルを置換したランダムフィードバック制御を導入する。
  論文  参考訳（メタデータ） (2026-03-27T08:48:30Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。