論文の概要: Beyond Endpoint Scores: Time- and Capacity-Conditioned Evaluation of Continual Knowledge Updating

• arxiv url: http://arxiv.org/abs/2609.03900v1
• Date: Thu, 03 Sep 2026 14:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.102467
• Title: Beyond Endpoint Scores: Time- and Capacity-Conditioned Evaluation of Continual Knowledge Updating
• Title（参考訳）: ポイントスコアを超えて: 継続的な知識更新の時間的・能力的な評価
• Abstract要約: 継続的な知識更新手法は、最終チェックポイントと従来のアダプタのランクよりも優れているとしばしば宣言される。 これは、より良い運用ポイントを特定するのに不十分であることを示す。
• 参考スコア（独自算出の注目度）: 1.9000311354194375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual knowledge-updating methods are often declared superior from one final checkpoint and one conventional adapter rank. We show that this can be insufficient to identify the better operating point. Holding a periodic hierarchy fixed, we compare it with cumulative replay over a 24-month Wikidata stream while varying evaluation month, replay LoRA rank, and query formulation. The apparent winner changes across this region: on Qwen2.5-1.5B, the hierarchy's 5.0-point advantage over rank-8 replay becomes an 11.6-point deficit against rank-72 replay, and at high ranks a consolidation-aligned endpoint can suggest a tie while time-averaged replay leads by 9-13 points. The same rank-conditioned reversal appears on Llama-3.2-1B and held-out paraphrases. These results show that method ranking in continual updating can depend jointly on when performance is measured and how much replay-side adaptation capacity the baseline receives. We therefore propose reporting trajectories and capacity sweeps, and declaring a robust winner only when the ordering is stable across the evaluation region; otherwise, comparisons should report winner regions and retention-stability-cost frontiers. Under this protocol, the periodic hierarchy is a lower-update-cost operating point, not a quality winner.
• Abstract（参考訳）: 継続的な知識更新手法は、最終チェックポイントと従来のアダプタのランクよりも優れているとしばしば宣言される。 これは、より良い運用ポイントを特定するのに不十分であることを示す。 周期的階層を固定し、24ヶ月のウィキデータストリーム上で累積的なリプレイと比較し、評価月、LoRAランクのリプレイ、クエリの定式化を行う。 Qwen2.5-1.5Bでは、ランク8リプレイに対する階層の5.0ポイントの優位性はランク72リプレイに対する11.6ポイントの欠陥となり、高いランクでは、統合整合したエンドポイントは、平均的なリプレイが9-13ポイントリードする間、ネクタイを提案できる。 同じランク条件の逆転は、Llama-3.2-1Bや保留パラフレーズに現れる。 これらの結果から,連続更新における手法のランク付けは,性能測定時とベースラインがどの程度のリプレイ側適応能力を受け取るかに大きく依存することが示された。 そこで我々は,評価領域全体にわたって順序が安定している場合にのみ,厳密な勝者を宣言するトラジェクトリとキャパシティスイープの報告を提案し,そうでなければ,勝者地域と維持安定コストフロンティアを報告すべきである。 このプロトコルの下では、周期的階層はより低コストな運用ポイントであり、品質の勝者ではない。

関連論文リスト

• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation [7.418932089055928]
  指数移動平均(EMA)アグリゲーション(英語版)は、約オーダー保存スコアラの修正を消去セットレベルで大きく区別できない。 我々は,EMAに基づく復号時間消去手法であるInertiaKVと,その周期的復号法であるInertia KV-Lazyを導入し,その復号スループットを1.34-1.46xとする。 6つのオープンウェイトなバックボーンとLongBench、LongBench-v2、RULERベンチマークで、結果は時間的アグリゲーションとランキング保存を、連続した設計要素として識別する。
  論文  参考訳（メタデータ） (2026-09-03T08:17:34Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Comparison Patrols on Drifting Orders: Certified Rank Maintenance, Evolving Planar Maxima, and Selection under Drifting Fitness [0.2864713389096699]
  動的環境におけるランクベースの選択は、使用中に陳腐化する順序情報に作用する。 本稿では,欠落情報層をデータ構造問題として定式化する。 最大$n=65,536$の試験は、証明書、回復法則、平衡挙動、等予算の動的進化ループを監査する。
  論文  参考訳（メタデータ） (2026-06-12T23:39:33Z)
• Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short [51.667769734342635]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 本研究では,非多変量報酬群を判定システムにルーティングする適応学習フレームワークであるReasoning Arenaを提案する。 我々は、Reasoning Arenaが、競争数学やコーディングベンチマークにおいて、RLVRベースラインを平均で7.6%上回っていることを示す。
  論文  参考訳（メタデータ） (2026-06-08T11:57:17Z)
• When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming [0.0]
  近似ポリシ最適化(PPO)を用いたコンパクトRLHFパイプラインの失敗モードに関する実証的研究について述べる。 我々は、学習した報酬の方向、判定スコア、および平均判定スコアを用いて、チェックポイント間の一致した遷移を分類する。 ROC-AUC 0.821による将来の行レベルの報酬ハッキングを予測し、行レベルの分析では、チェックポイント平均が12の3つの設定で見逃すような局所的な報酬ハックが見つかる。
  論文  参考訳（メタデータ） (2026-06-02T06:55:52Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• An Interpretable CF-RL-TOPSIS Fusion Model for Skills-Aware Talent Recommendation [0.0]
  本研究では,6つのセマンティックプロキシから構築したトランジション対応協調ブランチ,強化スタイルの職業家族バンディット,エントロピー重み付きTOPSISブランチを統合した遅延融合モデルを提案する。 このモデルは、2つのフリーズされたICTタレント履歴ベンチマーク、JobHopとKarrierewegeで、時系列トップ5ランキングとペアのWilcoxonテストを用いて評価されている。
  論文  参考訳（メタデータ） (2026-05-22T19:22:58Z)
• ReasonRank: Empowering Passage Ranking with Strong Reasoning Ability [83.16850534680505]
  本稿では,自動推論集約型トレーニングデータ合成フレームワークを提案する。 自己整合性データフィルタリング機構は、データ品質を保証するために設計されている。 トレーニングされた推論集約型リランカ textbfReasonRank は,BRIGHT のリーダボード上での最先端 (SOTA) のパフォーマンス40.6 を達成する。
  論文  参考訳（メタデータ） (2025-08-09T17:26:18Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。