論文の概要: Uniform Herding: Exemplar Replay with Representation Refresh
- arxiv url: http://arxiv.org/abs/2608.13061v1
- Date: Thu, 13 Aug 2026 10:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.476848
- Title: Uniform Herding: Exemplar Replay with Representation Refresh
- Title(参考訳): Uniform Herding: Representation Refreshを使った模範的なリプレイ
- Abstract要約: 我々は、観測されたクラス間で現在のアクティブセットを割り当てるUniform Herdingを提案し、現在の表現で選択した例をリフレッシュするために境界付き候補プールを使用する。
10種類のクラス増分タスクを持つCIFAR-100では、Uniform Herdingが44.00pm0.51%$最終平均精度と17.22pm0.43%$ forgettingを取得し、iCaRLは42.33pm1.20%$と24.87pm1.11%$である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As the feature representation changes, replay must preserve the earlier classes. However, only a bounded active exemplar set can be replayed. We propose Uniform Herding, which allocates the current active set across observed classes and uses a bounded candidate pool to refresh their chosen exemplars in the current representation. On CIFAR-100 with ten class-incremental tasks, a ResNet-18 backbone, active budget $M=2{,}000$, retrieval budget $b=64$, and three seeds, Uniform Herding obtains $44.00\pm0.51\%$ final average accuracy and $17.22\pm0.43\%$ forgetting, compared with $42.33\pm1.20\%$ and $24.87\pm1.11\%$ for iCaRL. Within the Uniform Herding protocol, final accuracy decreased when NME or herding was replaced with the tested alternatives, while forgetting increased when distillation was removed. Changing the retrieval budget has a smaller effect across the tested range than changing the active budget. The comparison with iCaRL is end-to-end. It does not isolate the effect of refresh from the other protocol differences. These results are limited to the tested protocol.
- Abstract(参考訳): 特徴表現が変化するにつれて、リプレイは以前のクラスを保存する必要がある。
しかし、リプレイできるのは有界な実例集合のみである。
我々は、観測されたクラス間で現在のアクティブセットを割り当てるUniform Herdingを提案し、現在の表現で選択した例をリフレッシュするために境界付き候補プールを使用する。
10種類のクラス増分タスク、ResNet-18のバックボーン、アクティブ予算$M=2{,}000$、検索予算$b=64$、および3つのシードを持つCIFAR-100では、Uniform Herdingは最終平均精度4.00\pm0.51\%と17.22\pm0.43\%を、iCaRLの4.2.33\pm1.20\%と24.87\pm1.11\%と引き換えに忘れる。
統一型Herdingプロトコルでは,NMEまたはHerdingが試験された代替品に取って代わられた際に最終精度が低下し,蒸留が除去された時に忘れられやすくなった。
回収予算の変更は、有効予算の変更よりも、試験範囲全体で効果が小さい。
iCaRLとの比較はエンドツーエンドである。
他のプロトコルの違いからリフレッシュの効果を分離しない。
これらの結果はテストされたプロトコルに限られる。
関連論文リスト
- ActionSplice: In-Flight Action Editing for Interactive World Models [4.400011068855375]
チャンク自動回帰ビデオワールドモデルは通常、1つのアクションで生成されたチャンクを条件付けする。
我々は、この問題をCST(Counterfactual State Transport)として定式化する推論フレームワークであるActionpliceを紹介する。
一時スプライシングの$mathrmCST*R$は、一時プレフィックスを保持し、接尾辞のみを更新する。
$mathrmCST*T$は、それぞれ接尾辞LPIPSを56.1%減らし、77.5%減らし、2.73times$と1.69times$の1.69timesを待ち前のスピードアップで提供する。
論文 参考訳(メタデータ) (2026-09-08T04:21:36Z) - Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers [5.410304374735817]
トーケンプルーニングポリシは通常、単一の認識パイプライン用に設計されるが、事前訓練されたビジョントランスフォーマーは、異なる空間要求のタスク間で再利用される。
画像分類,セマンティックセグメンテーション,オブジェクト検出において,プルーニングポリシのどの部分が転送されるのかを問う。
各パイプラインに対して、制御されたプローブは停止チェックポイントを凍結し、パラメータフリーの一連の基準を1つの許容層に適用する。
調査では, セグメンテーションと検出の3つの相違点を明らかにした。分類は, 最初期の層における注意に基づくプルーニングに特に敏感であり, 密集したタスクは逆の回復終点を好む。
論文 参考訳(メタデータ) (2026-08-11T14:43:52Z) - CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
論文 参考訳(メタデータ) (2026-08-07T19:11:54Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳(メタデータ) (2026-07-14T17:50:50Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳(メタデータ) (2026-06-09T17:16:03Z) - HARP: Efficient Data Selection for Finetuning Large Language Models [17.765191025899252]
データ選択の微調整には、2つの競合する目標のバランスが必要だ。
提案する階層型アクティブ・リージョン・プルーニング(HARP, Hierarchical Active Region Pruning)は, 選択コストを低減しつつ下流のアライメントを維持する効率的な列車ベースセレクタである。
論文 参考訳(メタデータ) (2026-06-05T06:31:43Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳(メタデータ) (2025-04-18T17:49:55Z) - Simple ReFlow: Improved Techniques for Fast Flow Models [68.32300636049008]
拡散および流れマッチングモデルは、優れた生成性能を実現するが、多くのサンプリングステップを犠牲にしている。
我々は、力学、学習、推論のトレーニングに7つの改善点を提案する。
我々は、ニューラルネットワークによる高速な生成のために、最先端のFIDスコア(ガイダンスなし/参照なし)を達成している。
論文 参考訳(メタデータ) (2024-10-10T11:00:55Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-07T15:03:50Z) - Simple Opinion Dynamics for No-Regret Learning [38.61048016579232]
分散GOSSIPモデルにおける協調的マルチエージェントバンディット設定について検討する。
この設定のために、メモリレスおよび時間に依存しないプロトコルのファミリーを導入・分析する。
定常的な報酬設定のために、これらの単純なプロトコルが世界の最高の振る舞いを示すことを初めて証明する。
論文 参考訳(メタデータ) (2023-06-14T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。