論文の概要: When Non-Adversarial Noise Hurts Learning: Benchmarking Skill Self-Evolution in Agents
- arxiv url: http://arxiv.org/abs/2610.19910v1
- Date: Wed, 14 Oct 2026 10:03:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.082193
- Title: When Non-Adversarial Noise Hurts Learning: Benchmarking Skill Self-Evolution in Agents
- Title(参考訳): 敵対的でない騒音が学習する時--エージェントの自己進化スキルのベンチマーク
- Abstract要約: RSE-Benchは、通常の非逆雑音下でのスキル自己進化を評価するための最初のベンチマークとなる。
また、一貫したノイズ注入と実際の露出とスキル更新のプロセス診断をサポートするメソッド依存フレームワークであるtextscRSEClaw も導入した。
- 参考スコア(独自算出の注目度): 57.745194049096135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model agents increasingly improve by distilling experience into reusable skills, but errors in that experience can persist in learned rules and affect later tasks. Existing evaluations largely examine clean learning or perturbations encountered after skills are frozen, leaving robustness during self-evolution insufficiently understood. We introduce RSE-Bench, to our knowledge the first benchmark for evaluating skill self-evolution under ordinary, non-adversarial noise. It spans four domains and six benchmarks, with controlled perturbations to instructions, environmental evidence, execution records, and outcome--record pairings that preserve the underlying tasks and native scoring rules. The protocol separates noise during learning from input-side noise at evaluation, testing frozen skill stores on held-out tasks. We also introduce \textsc{RSEClaw}, a method-agnostic framework supporting consistent noise injection and process diagnostics of actual exposure and skill updates. Across three methods and two backbones, noisy learning retains only $25.5\%$--$42.1\%$ of the aggregate gain achieved by clean self-evolution, depending on the noise type. Perturbations confined to execution records and outcome--record pairings cause average losses comparable to input-side noise, despite leaving the original executions and evaluations intact. Diagnostics further identify differences in candidate skill text that coexist with small changes in mean held-out performance.
- Abstract(参考訳): 大規模な言語モデルエージェントは、経験を再利用可能なスキルに蒸留することで、ますます改善するが、その経験におけるエラーは、学習されたルールに持続し、後のタスクに影響を与える可能性がある。
既存の評価では、スキルが凍結した後のクリーンラーニングや摂動を主に調べており、自己進化中の堅牢さは十分に理解されていない。
RSE-Benchは、通常の非逆雑音下でのスキル自己進化を評価するための最初のベンチマークとなる。
4つのドメインと6つのベンチマークにまたがっており、命令、環境証拠、実行記録、および基礎となるタスクとネイティブスコアルールを保存する結果記録ペアリングに対する制御された摂動がある。
このプロトコルは、評価時の入力側ノイズから学習中のノイズを分離し、保留タスクの凍結スキルストアをテストする。
また、一貫したノイズ注入と実際の露出とスキル更新のプロセス診断をサポートする手法に依存しないフレームワークである「textsc{RSEClaw}」も導入した。
3つの方法と2つのバックボーンにまたがるノイズ学習は、ノイズの種類によって、クリーンな自己進化によって達成された総利益の25.5\%-42.1\%しか残っていない。
実行レコードと結果のペアリングに制限された摂動は、元の実行と評価をそのまま残しながらも、入力側のノイズに匹敵する平均的な損失を引き起こす。
診断は、平均ホールドアウト性能の小さな変化と共存する候補スキルテキストの違いをさらに特定する。
関連論文リスト
- Robust Self-Training with Closed-loop Label Correction for Learning from Noisy Labels [29.68163073890278]
ノイズの多いラベルでディープニューラルネットワークをトレーニングすることは、依然として大きな課題である。
分離二段階最適化を用いた自己学習ラベル補正フレームワークを提案する。
提案手法は, 地中構造を伝達するために, ノイズのある後部シミュレーションと中間特徴を用いる。
論文 参考訳(メタデータ) (2026-03-14T11:10:17Z) - RepFace: Refining Closed-Set Noise with Progressive Label Correction for Face Recognition [7.436952568257183]
顔認識性能はラベルノイズ、特にクローズドセットノイズに大きく影響を受ける。
早期のトレーニングを安定させる新しい枠組みを提案し,サンプルをクリーンであいまいでうるさいグループに分割する。
本手法は,メインストリームの顔データセット上での最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2024-12-16T17:57:33Z) - DIDA: Denoised Imitation Learning based on Domain Adaptation [28.36684781402964]
ノイズのあるデータから学習するためには、模倣者が必要とされるLND(Learning from Noisy Demonstrations)の問題に焦点を当てる。
本稿では、雑音レベルと専門知識レベルを区別する2つの識別器を設計する、ドメイン適応(DIDA)に基づくDenoized Imitation Learningを提案する。
MuJoCoの実験結果は、DIDAが様々な種類のノイズを持つデモから挑戦的な模倣タスクをうまく処理できることを示した。
論文 参考訳(メタデータ) (2024-04-04T11:29:05Z) - Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。
本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
論文 参考訳(メタデータ) (2023-12-10T05:52:36Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [71.8462682319137]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳(メタデータ) (2022-07-27T09:03:03Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳(メタデータ) (2021-10-28T20:39:02Z) - Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。
この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
論文 参考訳(メタデータ) (2020-02-16T09:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。