論文の概要: Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures

• arxiv url: http://arxiv.org/abs/2605.10991v1
• Date: Sat, 09 May 2026 12:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.283125
• Title: Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures
• Title（参考訳）: テスト時間パーソナライゼーション: 障害のスケーリングのための診断フレームワークと確率的修正
• Abstract要約: パーソナライズされたポリシーモデルからN候補をサンプリングし、パーソナライズされた報酬モデルを用いてベストを選択することにより、スケーリング推定時間を計算する。 オラクルの選択は、サンプル候補数と対数的に増大する期待効用が得られることを証明している。 確率論的パーソナライズされた報酬モデルを提案する。
• 参考スコア（独自算出の注目度）: 26.927205237105156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches to LLM personalization focus on constructing better personalized models or inputs, while treating inference as a single-shot process. In this work, we study Test-Time Personalization (TTP) along an unexplored axis: scaling inference-time computation by sampling N candidates from a personalized policy model and selecting the best with a personalized reward model. We prove that oracle selection yields expected utility growing logarithmically with the number of sampled candidates, establishing a theoretical ceiling for test-time scaling. However, standard reward models fail to realize this potential. To diagnose why, we derive a unified scaling law that decomposes any reward model's Best-of-N curve into four measurable quantities and reveals two failure modes, user-level collapse (near-constant prediction for some users) and query-level reward hacking (negative correlation with true quality for some queries). Guided by this law, we propose a probabilistic personalized reward model whose learned variance effectively mitigates both failure modes. Experiments confirm both elements of our framework: TTP delivers consistent scaling across multiple policy models and personalized text generation tasks, and our scaling law closely matches observed scaling curves across reward-model variants.
• Abstract（参考訳）: LLMのパーソナライズへの既存のアプローチは、より優れたパーソナライズされたモデルや入力の構築に焦点を当て、推論を単一ショットプロセスとして扱う。 本研究では,個人化政策モデルからN候補を抽出し,パーソナライズされた報酬モデルを用いてベストを選択することにより,予測時間計算をスケールする,未探索軸に沿ったテスト時間パーソナライズ(TTP)について検討する。 オラクルの選択は、サンプル候補数と対数的に増大する実用性を示し、テスト時間スケーリングの理論的天井を確立する。 しかし、標準的な報酬モデルは、この可能性を実現することができない。 理由を解明するために、任意の報酬モデルのベスト・オブ・N曲線を4つの測定可能な量に分解する統一的なスケーリング法を導出し、ユーザレベルの崩壊(一部のユーザにとっては確実な予測)とクエリレベルの報酬ハック(クエリの真の品質との負の相関)の2つの障害モードを明らかにします。 本法によって導かれる確率論的パーソナライズド報酬モデルを提案する。 TTPは、複数のポリシーモデルとパーソナライズされたテキスト生成タスクに一貫したスケーリングを提供します。

関連論文リスト

• Enhanced Multi-model Online Conformal Prediction [25.495949162960624]
  コンフォーマル予測(Conformal prediction)は、未確認データの予測セットを構成する不確実性定量化のためのフレームワークである。 これらの予測セットの効率は、そのサイズによって測定され、基礎となる学習モデルの選択に依存する。 この研究は、計算複雑性を低減し、予測効率を向上させる、新しいマルチモデルオンライン共形予測アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2026-01-04T23:44:43Z)
• Fake it till You Make it: Reward Modeling as Discriminative Prediction [49.31309674007382]
  GAN-RMは、手動の嗜好アノテーションと明示的な品質次元工学を排除した効率的な報酬モデリングフレームワークである。 提案手法は,少数の対象サンプルを識別し,報酬モデルを訓練する。 実験では、GAN-RMが複数の主要なアプリケーションにまたがって有効であることを実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:59:40Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
  提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。 複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。 提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-16T06:40:51Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning [32.24146877835396]
  本稿では,モデルロールアウト処理を逐次決定問題として扱うフレームワークであるemphPlan To Predict (P2P)を提案する。 P2Pは、いくつかの課題のあるベンチマークタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-20T10:17:22Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• On Statistical Efficiency in Learning [37.08000833961712]
  モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。 モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。 実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
  論文  参考訳（メタデータ） (2020-12-24T16:08:29Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。