論文の概要: TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents
- arxiv url: http://arxiv.org/abs/2610.41216v1
- Date: Fri, 30 Oct 2026 03:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.610191
- Title: TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents
- Title（参考訳）: TinyAstral: 自己進化的ハーネスをTiny Generalistマニピュレーションエージェントに移行する
- Abstract要約: 教師のハーネスを改善するための2段階のアプローチを提案する。
私たちは教師を同じハーネスで置き換える小さな学生を蒸留する。
同じエピソードでは、最後の4B学生はオープンな4Bエージェント、オープンな27BハーネスRSIモデルSenseNova-RoboRSI、そして私たちの教師モデルが、競合する3つのハーネスに配置されています。
- 参考スコア（独自算出の注目度）: 29.70919006026165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot agents built on vision-language models depend on both the planner and its harness: the tools, feedback, memory, and recovery logic around it. Can improvements to a large teacher's harness be carried into a compact agent with lower inference compute cost? We present TinyAstral, a two-stage approach. We first freeze an open-weight teacher and improve its harness through recursive self-improvement (RSI): frontier LLM agents read the teacher's trajectories and propose harness edits, and each edit is accepted only if it passes a paired statistical test. We then freeze the final harness, collect teacher trajectories with reasoning and failure recovery, and distill a small student that replaces the teacher in the same harness. On RoboTwin, harness evolution raises the teacher's success from 33.4% to 63.6%; the final 4B student reaches 62.8%. Across four harness versions, distilled 4B students score close to their corresponding teachers, and later versions yield stronger students, showing that harness evolution gains carry into compact models. The harness gains also transfer to other frozen planners without retraining. On identical episodes, the final 4B student outperforms open 4B agents, the open 27B harness-RSI model SenseNova-RoboRSI, and our own teacher model placed in three competitors' harnesses. It stays close to its teacher on all three training benchmarks, and on three benchmarks never used for RSI or training it scores close to a 552B planner running the same harness. On the measured deployment episodes, it uses about one fifth of its teacher's accelerator time.
- Abstract（参考訳）: 視覚言語モデルに基づいて構築されたロボットエージェントは、プランナーとそのハーネス(ツール、フィードバック、メモリ、リカバリロジック)の両方に依存している。
推論計算コストの低い小型エージェントに大型教師のハーネスを組み込むことは可能か?
2段階のアプローチであるTinyAstralを紹介します。
我々はまず,オープンウェイトな教師を凍結し,再帰的自己改善(RSI:recursive self-improvement)を通じてハーネスを改善する。
そして、最後のハーネスを凍結し、推論と障害回復を伴う教師の軌跡を収集し、同じハーネスで教師を置き換える小さな学生を蒸留する。
RoboTwinでは、教師の成功率が33.4%から63.6%に上昇し、最後の4B学生は62.8%に達した。
4つのハーネスバージョンにまたがって、蒸留された4Bの学生は、対応する教師に近づき、後のバージョンではより強力な学生が生まれ、ハーネスの進化がコンパクトなモデルに繋がることを示した。
ハーネスゲインは他の冷凍プランナーに再訓練せずに移行する。
同じエピソードでは、最後の4B学生はオープンな4Bエージェント、オープンな27BハーネスRSIモデルSenseNova-RoboRSI、そして私たちの教師モデルが、競合する3つのハーネスに配置されています。
3つのトレーニングベンチマークで教師に近づき、RSIやトレーニングに使用されていない3つのベンチマークでは、同じハーネスを走らせる552Bプランナーに近いスコアを記録している。
測定された展開エピソードでは、教師の加速時間の約5分の1が使用される。
関連論文リスト
- LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。
具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
論文 参考訳（メタデータ） (2026-10-13T11:07:04Z) - Harness Evolution Hits a Ceiling: When Weight Training Should Begin [14.584252915911557]
自己進化型ハーネスは、まずシステムを強くし、次にシードを渡り、ベースとトレーニングされた重量でハーネスを進化させます。
エージェントの故障構成から正しいレバーを読み取ることができることを示す。
DeepPlanningでは、自己進化するハーネスループがQwen3.5-4Bのホールドアウトスコアを0.16から0.30に引き上げる。
4Bでは、コンテンツ障害が重み付けのために残っている間、保留中のデリバリは55%から90%に上昇する。
論文 参考訳（メタデータ） (2026-10-08T10:33:29Z) - The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning [49.94760727418966]
シミュレーション学生に対する強化学習(RL)は、教育を改善するための有望なアプローチである。
既存のRL学習教師は、教師の言葉をまだ文脈に残して、教師問題で生徒の成功に報いる。
学生は、教師の発話をマスクした教師問題の見当たらない変種でテストする。
これにより、生徒の認知障害を回避し、連続的なペナルティを2つの二分報酬ゲートに置き換えることができる。
論文 参考訳（メタデータ） (2026-10-05T14:50:58Z) - Harness-Aware Distillation for Small Language Model Agents [23.226663443494655]
ハーネスは言語モデルエージェントのコンテキスト、ツール、フィードバックを管理する。
標準蒸留は教師の完全な出力を模倣し、ハーネスを入力の一部として扱う。
本研究では,教師がハーネスを超えて付加するものに蒸留に焦点を当てたハーネス・アウェア蒸留(HAD)を提案する。
論文 参考訳（メタデータ） (2026-10-02T05:53:26Z) - Recursive Self-Improvement via On-Policy Distillation for Reasoning [15.999152579037556]
オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。
学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。
生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
論文 参考訳（メタデータ） (2026-09-25T00:42:31Z) - Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis [0.5687154521897483]
エージェント的 "Continual Learning Harnesses" はサイバーセキュリティの価値が増大していることを示している。
しかし、それらの値はラベル付きベンチマークに対する利得によって測定される。
ラベル付きベンチマークを使わずに、エンドツーエンドの学習ハーネスを評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-11T15:51:37Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment [0.0]
高制約構造抽出は、各項目で大きなモデルのレイテンシを支払うので、タスクを小さなオンデバイスモデルに蒸留することは魅力的である。
各ニュース記事は、短い要約と5つのカテゴリラベルを持つ1つのオブジェクトにマッピングされる。
盲目で基準のない3つのジャッジパネルは、全記事に対して各アームをスコアし、2つの非蒸留ベースライン、数発のプロンプトと制約付き復号を行う。
論文 参考訳（メタデータ） (2026-07-09T09:10:49Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。