論文の概要: Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings
- arxiv url: http://arxiv.org/abs/2606.00426v1
- Date: Fri, 29 May 2026 23:22:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.398332
- Title: Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings
- Title（参考訳）: 言語モデル埋め込みによるプライベートフェデレーション連続学習のための正規化安定リストリプレイ
- Abstract要約: 本稿では、クライアントが共有文埋め込み空間上の候補リプレイ分布をプライベートに生成するCanonicalized Stable-List Replay(C SLR)を紹介する。
C SLRは、最強の非C SLR DPベースラインよりも3.9--5.6ポイント向上する。
正式なプライバシ保証はリリースのリプレイをカバーしている。エンドツーエンドのプライベートトレーニングに加えて、タスクヘッド更新のためにプライベートとのコンポジションも必要だ。
- 参考スコア（独自算出の注目度）: 6.908972852063454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated continual learning (FCL) lets distributed clients adapt language-model heads to evolving NLP tasks without sharing raw text. Under user-level differential privacy (DP), replay-based continual learning faces a structural obstacle: clients can release only small noisy lists of candidate replay summaries, and those lists are unordered across clients. We introduce Canonicalized Stable-List Replay (CSLR), where clients privately produce candidate replay distributions over a shared sentence-embedding space and the server aligns them using signatures induced by public anchor sentences. The anchors provide identifiability for aggregation rather than additional replay data. We prove that, under an observable anchor-signature margin, $O(\log(N/η)/p)$ anchors distinguish $N$ candidate list elements with probability at least $1-η$, and we give a scoped anchorless non-identifiability result for unordered-label oracle models. Across five seeds on continual classification, NER, and dialogue benchmarks, CSLR improves the final average task metric by 3.9--5.6 points over the strongest non-CSLR DP baseline at $\eps=4$ under the reported replay-release budget, while also outperforming Hungarian and optimal-transport matchers. The formal privacy guarantee covers replay release; end-to-end private training additionally requires composition with a private optimizer for task-head updates.
- Abstract（参考訳）: フェデレートされた連続学習(FCL)により、分散クライアントは、生のテキストを共有することなく、言語モデルヘッドをNLPタスクに適応させることができる。
ユーザレベルの差分プライバシー(DP)の下では、リプレイベースの連続学習は構造的な障害に直面している。
CSLR(Canonicalized Stable-List Replay)を導入し、クライアントは共有文埋め込み空間上の候補リプレイ分布をプライベートに生成し、サーバはパブリックアンカー文によって誘導されるシグネチャを用いてそれらを調整する。
アンカーは追加のリプレイデータではなく、アグリゲーションの識別性を提供する。
観測可能なアンカー符号マージンの下では、$O(\log(N/η)/p)$アンカーは、少なくとも1-η$の確率を持つ$N$候補リスト要素を区別し、未順序ラベルオラクルモデルに対してスコープ付きアンカーレス非識別性結果を与える。
CSLRは連続分類、NER、ダイアログベンチマークの5つの種で、最強の非CSLR DPベースラインを$\eps=4$で3.9-5.6ポイント改善し、ハンガリー語と最適輸出のマッカーを上回っている。
正式なプライバシ保証はリリースをカバーしている。エンドツーエンドのプライベートトレーニングに加えて、タスクヘッド更新のためのプライベートオプティマイザによるコンポジションも必要だ。
関連論文リスト
- LO-FAR: A Cost-Aware Local Filter for Sparse Feature Ranking in Industrial Ad Recommendation [1.4223323354955852]
Localized Feature Ranking (LO-FAR)は、CPUのみのモデルに依存しないワークフローで、各候補機能をスタンドアローンのホールトアウト予測信号からランク付けする。
100万以上のログされたインタラクションと475のスパースIDリスト機能からなる運用データセットでは、LO-FARが約2CPU時間でランク付けを完了し、下流の正規化エントロピーゲインを保存する。
このコントリビューションはデプロイ可能なワークフローであり、単純なローカルフィルタは、より重いインタラクションを意識した代替手段よりも実用的なプロダクション選択であることを示している。
論文 参考訳（メタデータ） (2026-07-23T02:52:41Z) - Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation [43.66118282567413]
データ中心のパイプラインでトレーニングされた多言語クロスエンコーダリランカのファミリーであるQuarit-Rerankerを紹介します。
我々のパイプラインはまず、大規模ランキング指向データから一般的な関連性モデリングを学び、次にターゲット分布に適応する。
Querit-Reranker-A0.4B 平均 nDCG@10 は BEIR では 54.11 から 59.28 に、MIRACL では 59.87 から 67.70 に改善されている。
論文 参考訳（メタデータ） (2026-06-17T13:06:47Z) - GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation [14.663434490160016]
我々は、JD App上にデプロイされた嗜好指向の生成フレームワークであるGenRecを紹介する。
月のオンラインA/Bテストでは、GenRecは9.5%のクリック数の改善と8.7%のトランザクション数を達成した。
論文 参考訳（メタデータ） (2026-04-16T11:07:05Z) - Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning [70.6126069527741]
ConvRec-R1は会話レコメンデーションシステムのエンドツーエンドトレーニングのための2段階のフレームワークである。
ステージ1では,Remap-Reflect-Adjustパイプラインを用いた行動閉鎖データセットを構築した。
ステージ2では,グループ相対政策最適化の原則的拡張である Rank-GRPO を提案する。
論文 参考訳（メタデータ） (2025-10-23T02:56:00Z) - Cooperative Pseudo Labeling for Unsupervised Federated Classification [62.9387841396335]
Unsupervised Federated Learning (UFL)は、データを共有したりラベル情報にアクセスしたりすることなく、分散クライアント間でグローバルモデルを協調的にトレーニングすることを目的としている。
我々は、新しい方法、 underlinetextbfFederated underlinetextbfCooperative underlinetextbfPseudo underlinetextbfLabeling (textbfFedCoPL)を提案する。
特に、一般的な画像特徴を含む視覚的プロンプトをサーバに集約し、パーソナライズされた知識をコードするテキストプロンプトをローカルに保持する。
論文 参考訳（メタデータ） (2025-10-11T08:18:26Z) - GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。
コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。
GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
論文 参考訳（メタデータ） (2025-09-27T15:36:59Z) - Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。
ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。
PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
論文 参考訳（メタデータ） (2025-04-18T17:49:55Z) - $\mathsf{OPA}$: One-shot Private Aggregation with Single Client Interaction and its Applications to Federated Learning [7.713377215066152]
一発のプライベートアグリゲーション(mathsfOPA$)を導入します。
各クライアントはアグリゲーション毎に1回だけ通信するので、ドロップアウトの管理と動的参加が簡単になる。
$mathsfOPA$は実用的で、最先端のソリューションよりも優れています。
論文 参考訳（メタデータ） (2024-10-29T17:50:11Z) - Multimodal Label Relevance Ranking via Reinforcement Learning [30.03543589748649]
LRtextsuperscript2PPO (Rabel Relevance Ranking with Proximal Policy Optimization) という,マルチモーダルラベル関連ランキングの新しい手法を提案する。
LRtextsuperscript2PPOはまずターゲットドメインの部分順序ペアを使用して報酬モデルをトレーニングする。
LRtextsuperscript2PPOにより、ラベル関連ランキングモデルの性能を向上させることができるように、ランキングタスクに適した状態表現とポリシー損失を慎重に設計する。
論文 参考訳（メタデータ） (2024-07-18T07:06:49Z) - Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。
会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-16T16:09:05Z) - Private Federated Submodel Learning with Sparsification [60.77488903537807]
フェデレーション付きサブモデル学習(FSL)におけるプライベートリード更新書き込み(PRUW)の問題について検討する。
本稿では、サブモデルインデックス、更新値、スパース更新の座標をデータベースに公開することなく、任意のサブモデルの任意のパラメータからプライベートに読み書きする新しいスキームを提案する。
論文 参考訳（メタデータ） (2022-05-31T17:51:41Z) - PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation
of Teacher Ensembles for Spoken Command Classification [53.764020085834645]
教師アンサンブル(PATE)のプライベートアグリゲーションにおけるGAN(Generative Adversarial Network)の代替として,AAE(Adversarial Autoencoder)を提案する。
AAEアーキテクチャにより、潜伏ベクトルの識別訓練により、優れた合成音声ネイティブが得られる。
PATE-AAEは、代替プライバシー保護ソリューションと比較して、平均分類精度をそれぞれ+$2.11%$と+$6.60%$改善します。
論文 参考訳（メタデータ） (2021-04-02T23:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。