論文の概要: CoSteer: Collaborative Decoding-Time Personalization via Local Delta Steering

• arxiv url: http://arxiv.org/abs/2507.04756v1
• Date: Mon, 07 Jul 2025 08:32:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.332087
• Title: CoSteer: Collaborative Decoding-Time Personalization via Local Delta Steering
• Title（参考訳）: CoSteer: ローカルデルタステアリングによる協調的デコーディング-タイムパーソナライズ
• Authors: Hang Lv, Sheng Liang, Hao Wang, Hongchao Gu, Yaxiong Wu, Wei Guo, Defu Lian, Yong Liu, Enhong Chen,
• Abstract要約: CoSteerは、ローカライズされたデルタステアリングを通じてデコード時のパーソナライズを可能にする、新しいコラボレーティブフレームワークである。 トークンレベルの最適化をオンライン学習問題として定式化し、ローカルデルタベクトルがリモートLLMのロジットを動的に調整する。 このアプローチは、生のデータや中間ベクトルではなく、最後のステアリングトークンのみを送信することで、プライバシを保護します。
• 参考スコア（独自算出の注目度）: 68.91862701376155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized text generation has become crucial for adapting language models to diverse and evolving users' personal context across cultural, temporal, and contextual dimensions. While existing methods often rely on centralized fine-tuning or static preference alignment, they struggle to achieve real-time adaptation under resource constraints inherent to personal devices. This limitation creates a dilemma: large cloud-based models lack access to localized user-specific information, while small on-device models cannot match the generation quality of their cloud counterparts. To address this dichotomy, we present CoSteer, a novel collaborative framework that enables decoding-time personalization through localized delta steering. Our key insight lies in leveraging the logits difference between personal context-aware and -agnostic outputs from local small models as steering signals for cloud-based LLMs. Specifically, we formulate token-level optimization as an online learning problem, where local delta vectors dynamically adjust the remote LLM's logits within the on-device environment. This approach preserves privacy by transmitting only the final steered tokens rather than raw data or intermediate vectors, while maintaining cloud-based LLMs' general capabilities without fine-tuning. Through comprehensive experiments on various personalized generation tasks, we demonstrate that CoSteer effectively assists LLMs in generating personalized content by leveraging locally stored user profiles and histories, ensuring privacy preservation through on-device data processing while maintaining acceptable computational overhead.
• Abstract（参考訳）: パーソナライズされたテキスト生成は、文化的、時間的、文脈的な側面にまたがって、多様で進化するユーザの個人的コンテキストに言語モデルを適用するために欠かせないものとなっている。 既存の手法は、しばしば集中的な微調整や静的な優先順位調整に頼っているが、パーソナルデバイス固有のリソース制約の下でリアルタイム適応を達成するのに苦労している。 大規模なクラウドベースのモデルは、ローカルなユーザ固有の情報にアクセスできないのに対して、小さなオンデバイスモデルは、クラウドの世代品質にマッチしない。 この二分法に対処するために,局所的なデルタステアリングによる復号時間パーソナライズを可能にする新しい協調フレームワークであるCoSteerを提案する。 我々の重要な洞察は、クラウドベースのLCMのステアリング信号として、ローカルの小さなモデルからの個人的コンテキスト認識と診断的アウトプットのロジット差を活用することである。 具体的には、トークンレベルの最適化をオンライン学習問題として定式化し、ローカルデルタベクトルがオンデバイス環境におけるリモートLCMのロジットを動的に調整する。 このアプローチは、生のデータや中間ベクトルではなく、最終的なステアリングトークンのみを送信しながら、微調整なしでクラウドベースのLLMの汎用能力を維持することによって、プライバシを保護します。 様々なパーソナライズされた生成タスクに関する総合的な実験を通じて、CoSteerはローカルに保存されたユーザプロファイルと履歴を活用してパーソナライズされたコンテンツの生成を効果的に支援し、オンデバイスデータ処理によるプライバシ保護を確保しつつ、計算上のオーバーヘッドを許容する。

関連論文リスト

• Floe: Federated Specialization for Real-Time LLM-SLM Inference [32.782914689403746]
  Floeは、レイテンシに敏感でリソース制約のある環境向けに設計されたハイブリッドなフェデレーション学習フレームワークである。 個人データと微調整はオンデバイスのままであり、クラウドLLMはプロプライエタリな重みを公開せずに一般的な知識を提供する。 Floeはモデルパフォーマンスを大幅に改善し、リアルタイム制約下でエッジデバイスの推論遅延を低減する。
  論文  参考訳（メタデータ） (2026-02-15T20:28:38Z)
• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• PRISM: Privacy-Aware Routing for Adaptive Cloud-Edge LLM Inference via Semantic Sketch Collaboration [8.776463501718737]
  プライバシと推論品質を動的にバランスさせるコンテキスト認識フレームワークを提案する。 PRISMは,(1)エッジデバイスがエンティティレベルの感度をプロファイルし,(2)エッジ上のソフトゲーティングモジュールが実行モード - クラウド,エッジ,あるいはコラボレーションを選択し,(3)協調経路に対して,(3)エッジがエンティティリスクに基づいて適応的な2層局所微分プライバシーを適用し,(4)クラウドLLMが乱れたプロンプトからセマンティックスケッチを生成する。
  論文  参考訳（メタデータ） (2025-11-27T22:32:33Z)
• Personalized Vision via Visual In-Context Learning [62.85784251383279]
  パーソナライズされた視覚のためのビジュアル・イン・コンテキスト・ラーニング・フレームワークを提案する。 PICOは基盤となる変換を推測し、再トレーニングせずに新しい入力に適用する。 また,効率的な推論スケーリングによる信頼性向上を目的とした注意誘導型シードスコアラを提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:58:45Z)
• Cloud-Device Collaborative Agents for Sequential Recommendation [36.05863003744828]
  大規模言語モデル(LLM)は、強力な意味理解と柔軟な推論機能を備えたエージェントベースのレコメンデーションシステムを実現している。 LLMは強力なパーソナライズを提供するが、プライバシの懸念やリアルタイム信号へのアクセス制限、スケーラビリティのボトルネックに悩まされることが多い。 本稿では,2つのエージェントを駆使したシーケンシャルレコメンデーションのための新しいクラウド・デバイス協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-01T15:28:11Z)
• Towards On-Device Personalization: Cloud-device Collaborative Data Augmentation for Efficient On-device Language Model [43.13807038270687]
  CDCDA-PLMは、強力なクラウドベースのLLMのサポートにより、デバイス上でパーソナライズされた言語モデルをユーザデバイスにデプロイするためのフレームワークである。 実データと合成データの両方を用いて、パーソナライズされたオンデバイス言語モデル(LM)は、パラメータ効率の細かいチューニング(PEFT)モジュールを介して微調整される。
  論文  参考訳（メタデータ） (2025-08-29T02:33:13Z)
• P3SL: Personalized Privacy-Preserving Split Learning on Heterogeneous Edge Devices [12.821321451464081]
  Split Learning (SL)は、モデルをクライアントサイドとサーバサイドのサブモデルに分割することで、リソース制約のあるエッジデバイスがモデルトレーニングに参加することを可能にする。 SLは、デバイスがコンピューティングリソース、通信能力、環境条件、プライバシ要件などによって異なる異種環境において、重大な課題に直面している。 異種・リソース制約のあるエッジデバイスシステム向けに設計されたパーソナライズドプライバシ保護スプリット学習フレームワークであるP3SLを提案する。
  論文  参考訳（メタデータ） (2025-07-23T05:50:33Z)
• DPO Learning with LLMs-Judge Signal for Computer Use Agents [9.454381108993832]
  コンピュータ・ユース・エージェント(CUA)は、グラフィカル・ユーザー・インタフェース(GUI)と自動的に対話してタスクを完了させるシステムである。 ローカルマシン上で完全に動作する軽量な視覚言語モデルを開発した。
  論文  参考訳（メタデータ） (2025-06-03T17:27:04Z)
• LSRP: A Leader-Subordinate Retrieval Framework for Privacy-Preserving Cloud-Device Collaboration [43.115594451678255]
  クラウドとデバイス間のコラボレーションは、公開ユーザクエリの処理にオンプレミスのLarge Language Models(LLM)、プライベートユーザデータの処理にSLM(On-device Small Language Models)を活用する。 既存のアプローチは、クラウド上のLLMのスケーラブルな問題解決能力を十分に活用できないことが多い。 プライバシ保護型クラウドデバイスコラボレーション(LSRP)のためのリーダ・サブオーディネート検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-08T08:06:34Z)
• Personalized Language Models via Privacy-Preserving Evolutionary Model Merging [53.97323896430374]
  言語モデルにおけるパーソナライゼーションは、個々のユーザやユーザグループに対する振る舞いをモデル化することを目的としている。 進化的アルゴリズム(PriME)によるプライバシ保護モデルマージを提案する。 PriMEは、プライバシーリスクを低減しつつ、ユーティリティを直接最適化するために、勾配のない方法を採用している。 LaMPベンチマークの実験によると、Primeは一貫してベースラインを上回り、タスクパフォーマンスを最大45%改善している。
  論文  参考訳（メタデータ） (2025-03-23T09:46:07Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Collaborative Chinese Text Recognition with Personalized Federated Learning [61.34060587461462]
  中国語のテキスト認識では、ある組織が類似の組織から大量のデータを収集することがしばしば必要である。 アドレスや電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有したくない。 中国語テキスト認識タスクにパーソナライズド・フェデレーション・ラーニング(pFL)を導入し,pFedCRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-09T16:51:00Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Unsupervised Model Personalization while Preserving Privacy and Scalability: An Open Problem [55.21502268698577]
  本研究では,非教師なしモデルパーソナライゼーションの課題について検討する。 この問題を探求するための新しいDual User-Adaptation Framework(DUA)を提供する。 このフレームワークは、サーバ上のモデルパーソナライズとユーザデバイス上のローカルデータ正規化に柔軟にユーザ適応を分散させる。
  論文  参考訳（メタデータ） (2020-03-30T09:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。