論文の概要: Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

• arxiv url: http://arxiv.org/abs/2608.13608v1
• Date: Tue, 11 Aug 2026 15:51:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.162493
• Title: Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis
• Title（参考訳）: スケーリング仮説によるラベルのないエージェント学習能力の評価
• Abstract要約: エージェント的 "Continual Learning Harnesses" はサイバーセキュリティの価値が増大していることを示している。 しかし、それらの値はラベル付きベンチマークに対する利得によって測定される。 ラベル付きベンチマークを使わずに、エンドツーエンドの学習ハーネスを評価するためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.5687154521897483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic "Continual Learning Harnesses", systems that pair an LLM with retrieval or memory to improve from feedback without retraining, have shown growing value in cybersecurity. But their value is conventionally measured by gains against labeled benchmarks, an approach that often fails in operational security settings. Benchmark labels are scarce, stale, and unrepresentative, so a practitioner often cannot tell whether a given harness helps at all or which of two is better for their task. Traditional LLM-as-a-judge offers little signal because it is no stronger than the agent it evaluates, and distillation is unreliable on scarce, sporadic, and biased labels. We propose a framework for evaluating learning harnesses end-to-end without a labeled benchmark, grounded in the scaling hypothesis. A stronger teacher model provides sparsely sampled corrections to a smaller student with a continual learning harness. We score a harness by how much its student converges toward the teacher over time. Across security tasks, model families, and harness designs, we show that improvement relative to the teacher correlates with improvement relative to a held-out gold standard, validating teacher-relative lift as a proxy for true harness uplift when labels are absent. We further show that LLM-as-a-judge between similarly powered models yields no usable signal. These results suggest that a teacher-sized model can be improved through the same harness when humans provide the same kind of sparse, high-precision corrections.
• Abstract（参考訳）: エージェント的"Continual Learning Harnesses"システムでは、LLMと検索やメモリを組み合わせて、リトレーニングなしでフィードバックを改善することで、サイバーセキュリティの価値が増大している。 しかし、その価値は、通常、ラベル付きベンチマークに対する利得によって測定される。 ベンチマークラベルは希少で、陳腐で、表現できないため、実践者は与えられたハーネスがまったく役に立たないか、2つのうちどれがタスクに適しているかを判断できないことが多い。 従来のLSM-as-a-judgeは、評価する薬ほど強くなく、蒸留は希少、散発性、偏りのあるラベルでは信頼性が低いため、ほとんど信号を提供しない。 本稿では,スケーリング仮説に基づくラベル付きベンチマークを使わずに,エンド・ツー・エンドの学習ハーネスを評価するためのフレームワークを提案する。 より強力な教師モデルは、連続的な学習ハーネスを持つ小さな学生に、わずかにサンプル化された補正を提供する。 私たちは学生が時間とともに先生に向かってどれだけ収束するかでハーネスを決めた。 セキュリティタスク,モデルファミリー,ハーネスデザイン全般において,教師に対する改善は,保持金基準に対する改善と相関し,ラベルが存在しない場合に真のハーネスアップリフトのプロキシとして教師相対リフトが有効であることを示す。 さらに、同様の出力モデル間のLCM-as-a-judgeでは、使用可能な信号は得られないことを示す。 これらの結果から,人間が同じ種類のスパース,高精度の補正を行う場合,教師サイズのモデルを同一のハーネスで改善できることが示唆された。

関連論文リスト

• Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback [24.756084698191568]
  大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。 しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。 本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
  論文  参考訳（メタデータ） (2026-09-15T17:15:40Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding [39.58236772917555]
  VLMに基づくGUI接地のための品質認識型自己蒸留法を提案する。 正当性に気付くゲーティングと教師の確率スケーリングにより、教師の信号品質を向上させる。 我々の手法は一貫してベースモデルを改善し、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-06-16T16:02:41Z)
• A Testable Certificate for Constant Collapse in Teacher-Guided VAEs [3.812090634738739]
  変異型オートエンコーダの後方崩壊は、しばしばその症状によって診断される。 本研究では, 具体的故障モード, 入力非依存定数崩壊について検討し, 正確なしきい値が認められたことを示す。
  論文  参考訳（メタデータ） (2026-05-07T07:48:41Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression [27.0471650610245]
  スケーリング法則に影響を及ぼし,その後にテストエラーが発生するという意味で,潜在的な改善は極めて重要であることを示す。 厳密には、生徒は教師のスケーリング法則によらず、最小限の最適率を達成することができる。
  論文  参考訳（メタデータ） (2026-03-05T21:32:59Z)
• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。