論文の概要: Private PoEtry: Private In-Context Learning via Product of Experts

• arxiv url: http://arxiv.org/abs/2602.05012v1
• Date: Wed, 04 Feb 2026 19:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.596883
• Title: Private PoEtry: Private In-Context Learning via Product of Experts
• Title（参考訳）: Private PoEtry: エキスパートのプロダクトによるプライベートなインコンテキスト学習
• Authors: Rob Romijnders, Mohammad Mahdi Derakhshani, Jonathan Petit, Max Welling, Christos Louizos, Yuki M. Asano,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
• 参考スコア（独自算出の注目度）: 58.496468062236225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning (ICL) enables Large Language Models (LLMs) to adapt to new tasks with only a small set of examples at inference time, thereby avoiding task-specific fine-tuning. However, in-context examples may contain privacy-sensitive information that should not be revealed through model outputs. Existing differential privacy (DP) approaches to ICL are either computationally expensive or rely on heuristics with limited effectiveness, including context oversampling, synthetic data generation, or unnecessary thresholding. We reformulate private ICL through the lens of a Product-of-Experts model. This gives a theoretically grounded framework, and the algorithm can be trivially parallelized. We evaluate our method across five datasets in text classification, math, and vision-language. We find that our method improves accuracy by more than 30 percentage points on average compared to prior DP-ICL methods, while maintaining strong privacy guarantees.
• Abstract（参考訳）: In-context Learning (ICL) により、Large Language Models (LLM) は推論時に少数の例だけで新しいタスクに適応することができ、タスク固有の微調整を避けることができる。 しかし、インコンテキストの例は、モデル出力を通して明らかにすべきでないプライバシーに敏感な情報を含んでいるかもしれない。 ICLに対する既存の差分プライバシー(DP)アプローチは、計算コストが高いか、コンテキストオーバーサンプリング、合成データ生成、不必要なしきい値設定など、限られた有効性を持つヒューリスティックに依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成する。 これにより理論的に基礎付けられたフレームワークが得られ、アルゴリズムは自明に並列化できる。 本手法は,テキスト分類,数学,視覚言語において5つのデータセットにまたがって評価する。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase [37.68804898063595]
  In-Context Learning (ICL)と事前訓練された大規模言語モデルを組み合わせることで、様々なNLPタスクにおいて有望な結果が得られた。 textbfData textbfAugmentation for textbfIn-Context textbfLearning (textbfDAIL)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:12:55Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Safeguarding Data in Multimodal AI: A Differentially Private Approach to CLIP Training [15.928338716118697]
  本稿では,コントラスト言語-画像事前学習(CLIP)モデルの個人適応について紹介する。 提案手法であるDp-CLIPをベンチマークデータを用いて厳密に評価する。
  論文  参考訳（メタデータ） (2023-06-13T23:32:09Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。