論文の概要: Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent Adaptation

• arxiv url: http://arxiv.org/abs/2610.20652v1
• Date: Mon, 12 Oct 2026 18:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.969475
• Title: Does Personalization Break Trust? Open-Set Rejection Calibration Under Few-Shot On-Device Intent Adaptation
• Title（参考訳）: パーソナライゼーションは信頼を損なうか?
• Abstract要約: 数発のLoRAパーソナライゼーションにより,OOS-rejection AUROCが5つの公開意図分類ベンチマークの1つで低下することを示す。 デプロイメントチープの修正は、ソフトマックスの信頼性ではなく、マハラノビス距離による拒絶をスコア付けしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Always-on virtual assistants increasingly personalize on-device to new user-specific commands via few-shot fine-tuning (e.g., LoRA), but this adaptation is evaluated almost exclusively on whether it learns the new commands, not on whether the assistant can still recognize an input that matches none of its intents - the out-of-scope (OOS) rejection problem. We show that naive few-shot LoRA personalization degrades OOS-rejection AUROC (area under the ROC curve) on every one of five public intent-classification benchmarks (mean drop $0.055$--$0.258$, five seeds each), while in-scope accuracy is preserved. A scorer-invariant check shows part of this drop is an artifact of the standard confidence scorer's own miscalibration under adaptation, though a smaller, genuine effect remains under any scorer; we trace it to a measurable shrinkage of the embedding margin around known-intent regions (pooled Spearman rho=0.61$). A deployment-cheap fix is scoring rejection by Mahalanobis distance instead of softmax confidence without extra training/retraining recovers most of the lost quality on 3 of 5 datasets at no accuracy cost, beats two further OOD scoring baselines, and generalizes across shot count, LoRA rank, and a second base encoder. We report honestly where the fix falls short and release all code for reproducibility.
• Abstract（参考訳）: 常時オンの仮想アシスタントは、数ショットの微調整(例えばLoRA)によって、デバイス上で新しいユーザ固有のコマンドにパーソナライズする傾向にあるが、この適応は、その意図にマッチしない入力をアシスタントが認識できるかどうか、すなわちスコープ外(OOS)拒絶問題(out-of-scope)問題(英語版))について、ほとんど完全に評価されている。 数発のLoRAパーソナライゼーションは,5つの公開意図分類ベンチマーク(平均値0.055$--0.258$,5シード)の1つにOOS-rejection AUROC(ROC曲線下)を分解し,顕微鏡内精度は維持されている。 スコアラ不変チェックは、標準信頼スコアラ自身の誤校正の成果であることを示しているが、どのスコアラにも小さい真の効果が残っており、既知のインテント領域(プールされたSpearman rho=0.61$)の埋め込みマージンの縮小に遡る。 デプロイメントチープの修正は、マハラノビス距離ではなく、マハラノビス距離による拒絶を判定し、追加のトレーニング/リトレーニングなしで、5つのデータセットのうち3つで失われた品質の大半を精度の犠牲なしに回復させ、さらに2つのOODスコアベースラインを破り、ショットカウント、LoRAランク、第2ベースエンコーダをまたいで一般化する。 修正が不足している箇所を正直に報告し、再現性のためにすべてのコードをリリースします。

関連論文リスト

• SP-DocReader: Difference-Aware Self-Play for Precise Document OCR [8.042846537354517]
  SP-DocReaderは光学式文字認識(OCR)のためのセルフプレイフレームワークである Reading Discrepancy Maskingは、参照と生成されたモデルトークンを、最長の共通サブシーケンスを通じて整列する。 フォーカスされたフィデリティ・ロスは、未整合の地道位置で直接ネガティブなログライクな監視を追加する。
  論文  参考訳（メタデータ） (2026-10-08T03:12:12Z)
• Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability [9.522452128296834]
  介入定義忠実度は、モデルの振る舞いを再現しにくくする等サイズの回路を好むことを示す。 除外された信号を置き換えることで、保持されたコンポーネントが動作する入力が変化する。
  論文  参考訳（メタデータ） (2026-10-01T17:25:23Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。