論文の概要: Prior-as-Skill: Remember Outside and Read Inside with On-Policy Self-Distillation for Self-Evolving VLM Agents
- arxiv url: http://arxiv.org/abs/2611.15766v1
- Date: Wed, 11 Nov 2026 17:44:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.24198
- Title: Prior-as-Skill: Remember Outside and Read Inside with On-Policy Self-Distillation for Self-Evolving VLM Agents
- Title(参考訳): プリエント・アズ・スキル:自己進化型VLM剤をオン・ポリケーションで試してみる
- Abstract要約: 自己進化型視覚エージェントは、彼らがスキルとして学んだことを保持します。
政治における自己蒸留は、現在ではそのようなスキルを訓練するための一般的な方法となっている。
モデル外に保持された順序から欠落したフレームを埋めるPreferSplitを提案する。
- 参考スコア(独自算出の注目度): 35.8968897987808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-evolving visual agents keep what they learn as skills: key frames with step notes on a task's steps and their order. On-policy self-distillation (OPSD) is now a popular way to train such skills into a vision-language model that matches, on its own answers, a teacher that also reads the written order. At deployment, frames often go missing or show an unusual order, as when a person or a website reorders the steps. Existing internalization methods keep any order they store in the frame-reading weights: trained on full frames, the model guesses when they are missing, and trained with frames withheld, it stores the order, so memory can override what it sees. We propose PriorSplit, which fills in missing frames from an order kept outside the model, with no training beyond OPSD. It counts which of two neighboring steps comes first in training episodes, and the model checks if both asked steps are in view: if so, it answers from the frames, and otherwise the counts answer. Extensive experiments on synthetic skills with five models and on step-tagged order questions in new episodes of seen web, cooking and egocentric tasks demonstrate that, with frames missing, PriorSplit outperforms every compared method at OPSD's training cost. With Qwen3-VL-4B on synthetic skills, it also stays close to OPSD on unusual orders, where methods that gain most by storing the order fall behind.
- Abstract(参考訳): 自己進化型視覚エージェントは、彼らがスキルとして学んだことを保ちます。
オンライン自己蒸留(On-policy Self-distillation、OPSD)は、現在、そのようなスキルを視覚言語モデルにトレーニングする一般的な方法である。
デプロイ時には、人やWebサイトがステップをリオーダーするなど、フレームが失われたり、異常な順序を示すことがよくあります。
既存の内部化手法では、フレーム読み込み重みに格納される任意の順序を保ちます – フルフレームでトレーニングされたモデルは、いつ不足しているかを推測し、フレームでトレーニングされた上で保持され、順序を格納することで、メモリが見ているものをオーバーライドすることが可能です。
我々は、OPSD以外のトレーニングをせずに、モデル外に保持された順序から欠落したフレームを埋めるPreferSplitを提案する。
2つの隣のステップのうちどれがトレーニングエピソードで最初に来るのかをカウントし、モデルがどちらのステップも見ているかをチェックする。
ウェブ、料理、エゴセントリックなタスクの新たなエピソードにおいて、5つのモデルによる合成スキルとステップタグ付けされた順序に関する広範な実験は、フレームが欠落している場合、PresideSplitはOPSDのトレーニングコストで比較したすべての方法より優れていることを示した。
Qwen3-VL-4Bは合成スキルに優れており、命令を格納することで最も多くを得る方法である異常な順序でOPSDに近づいたままである。
関連論文リスト
- Don't Forget! Decomposing the Training Dynamics of Memorization in Language Models [40.3905987483166]
我々は、記憶されたシーケンスの損失軌跡をトレーニングやモデルパラメータよりも分解することで、記憶の微粒化を考察する。
ピキア族全体では、重複した訓練配列(リサイクリング)と稀な訓練配列(リコール)の記憶について研究する。
論文 参考訳(メタデータ) (2026-09-28T11:31:23Z) - Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning [0.0]
VLM(Vision-Language Models)は、画像とテキストの両方を処理するAIシステムである。
本稿では,視覚的質問を小さなサブクエストに分割するようにVLMを訓練するセルフクエストフレームワークを提案する。
自己探索学習と標準強化学習の両方が、訓練されていないモデルよりも精度を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2026-06-14T07:42:34Z) - Dynamic Mixture of Latent Memories for Self-Evolving Agents [57.20419419302731]
MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。
我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。
連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
論文 参考訳(メタデータ) (2026-05-21T03:35:10Z) - FrameSkip: Learning from Fewer but More Informative Frames in VLA Training [22.449197838619764]
VLA(Vision-Language-Action)ポリシーは、密集したロボットの実証軌道から一般的に訓練されている。
我々はこの慣例が時間的監督の不均衡を生み出すと論じている。
データ層フレーム選択フレームワークであるFrameSkipを紹介する。
論文 参考訳(メタデータ) (2026-05-13T16:38:05Z) - SEIF: Self-Evolving Reinforcement Learning for Instruction Following [53.280277743734096]
大規模言語モデル(LLM)の指示追従能力を高める自己進化型フレームワークSEIFを提案する。
SEIFは閉じた自己進化ループを形成し、モデルの命令追従能力を改善する。
複数のモデルスケールとアーキテクチャの実験により、SEIFは命令追従性能を一貫して改善し、強い汎用性を示唆している。
論文 参考訳(メタデータ) (2026-05-08T09:13:12Z) - REALIGN: Regularized Procedure Alignment with Matching Video Embeddings via Partial Gromov-Wasserstein Optimal Transport [7.952582509792969]
実世界の命令データには、しばしばバックグラウンドセグメント、繰り返しアクション、順番に示されるステップが含まれている。
正規化部分グロモフ・ワッサースタイン最適輸送(R-FPGWOT)に基づく手続き学習のための自己指導型フレームワークREALIGNを紹介する。
KOTとは対照的に、我々の定式化は部分的なアライメントスキームの下で視覚的対応と時間的関係を共同でモデル化する。
論文 参考訳(メタデータ) (2025-09-29T07:32:14Z) - Towards Frame Rate Agnostic Multi-Object Tracking [76.82407173177138]
本稿では,FraMOT 問題に初めて取り組むために,FAPS を用いたフレームレート非依存MOT フレームワークを提案する。
具体的には,フレームレート情報を推論し,符号化するフレームレートアグノスティックアソシエーションモジュール(FAAM)を提案する。
FAPSは、パターンマッチングと融合を追跡することによって、トレーニングにおけるすべての後処理ステップを反映する。
論文 参考訳(メタデータ) (2022-09-23T04:25:19Z) - Learning and Analyzing Generation Order for Undirected Sequence Models [86.10875837475783]
我々は、強化学習を通して、事前訓練された非直接翻訳モデルの生成順序を学習する政策を訓練する。
学習順序による翻訳は,マンシモフらの学習順序によって左から右へ復号された出力や復号された出力よりも高いBLEUスコアが得られることを示す。
我々の発見は、非方向性生成モデルのメカニズムに関するさらなる洞察を与え、この方向のさらなる研究を奨励する可能性がある。
論文 参考訳(メタデータ) (2021-12-16T18:29:07Z) - SPeCiaL: Self-Supervised Pretraining for Continual Learning [49.34919926042038]
SPeCiaLは、継続学習に適した表現の教師なし事前学習方法である。
本研究では,SPeCiaLを連続的なFew-Shot学習環境において評価し,他の教師付き事前学習手法に適合または優れることを示す。
論文 参考訳(メタデータ) (2021-06-16T18:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。