論文の概要: Training-Free VLM Personalization via Calibrated Residual Decoding
- arxiv url: http://arxiv.org/abs/2608.22263v1
- Date: Sun, 23 Aug 2026 07:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.673185
- Title: Training-Free VLM Personalization via Calibrated Residual Decoding
- Title（参考訳）: 校正残差復号による無訓練VLMパーソナライゼーション
- Authors: Jiaao Yu, Yujian Ma, Xianming Hu, Pengran Wang, Ang Li,
- Abstract要約: ビジョン言語モデルは、トレーニングなしの方法でパーソナライズすることができる。
直接パーソナライズされたプロンプトは、モデルがそのような証拠を確実に活用することを保証しない。
トレーニング不要な残留復号化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.57892811019083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models can be personalized in a training-free manner by directly providing user profiles, preferences, or visual references at inference time, without updating model parameters. However, direct personalized prompting does not guarantee that the model will reliably exploit such evidence. The predictive distribution under the positive user profile often mixes two sources: personalized signals genuinely supported by the current profile, and the model's generic visual or linguistic priors. As a result, from the positive-profile response alone, it is difficult to determine whether a high-confidence answer is supported by the user profile or merely reflects the model's default preference. To address this problem, we propose a training-free calibrated residual decoding framework. Given the same image and question, we construct three evidence conditions: a positive profile , a counterfactual profile , and an empty profile . Our method keeps the prediction under as the anchored base, and explicitly estimates the marginal contribution of personalization from score differences across the three conditions. We further introduce normalized-entropy-based uncertainty calibration, allowing the strength of personalized enhancement to adapt to the reliability of the residual signal. Experiments on MMPB, YoLLaVA, and MyVLM show that the proposed method improves personalized multimodal understanding without fine-tuning, with consistent gains on identity-sensitive visual personalization tasks. Additional analysis shows that entropy calibration stabilizes residual decoding when the contrastive personalization signal is uncertain.
- Abstract（参考訳）: ビジョン言語モデルは、モデルパラメータを更新することなく、推論時にユーザープロファイル、好み、視覚的参照を直接提供することで、トレーニング不要の方法でパーソナライズすることができる。
しかし、直接パーソナライズされたプロンプトは、モデルがそのような証拠を確実に活用することを保証しない。
正のユーザプロファイル下での予測分布は、現在のプロファイルによって真にサポートされたパーソナライズされた信号と、モデルの汎用的な視覚的または言語的事前の2つのソースを混合することが多い。
その結果、肯定的な応答だけでは、高信頼の回答がユーザプロファイルによってサポートされているか、単にモデルのデフォルトの好みを反映しているだけなのかを判断することは困難である。
この問題に対処するために,トレーニング不要な残留復号化フレームワークを提案する。
同じ画像と疑問が与えられた場合、正のプロファイル、反実のプロファイル、空のプロファイルの3つのエビデンス条件を構築する。
本手法は,3つの条件間のスコア差から,個人化の限界寄与を明示的に推定する。
さらに、正規化エントロピーに基づく不確実性校正を導入し、パーソナライズされたエントロピーの強度を残留信号の信頼性に適応させる。
MMPB,YoLLaVA,MyVLMを用いた実験では,個人性に敏感な視覚的パーソナライゼーションタスクにおいて,微調整なしでパーソナライズされたマルチモーダル理解を改善した。
さらなる分析により、エントロピー校正は、対照的なパーソナライゼーション信号が不確実であるときに残留復号を安定化することが示された。
関連論文リスト
- Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。
MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
論文 参考訳（メタデータ） (2026-06-09T06:38:36Z) - Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models [53.15468578562038]
マルチモーダル大言語モデル(MLLM)のための不確実性を考慮した探索的直接参照最適化(UE-DPO)手法を提案する。
まず、与えられた画像にトークン予測を根拠にしなかったモデルの不確かさを定量化する。
次に、好ましいサンプルにおいて、視覚的に不足したトークンに対する学習のプレッシャーを高め、非推奨サンプルにおける有益な知識の過度な報酬化を緩和する。
論文 参考訳（メタデータ） (2026-05-06T13:08:12Z) - Unsupervised Confidence Calibration for Reasoning LLMs from a Single Generation [2.526814143603023]
言語モデルの推論は、ますます複雑なタスクを解決することができるが、信頼性の高いデプロイメントに必要なキャリブレーションされた信頼推定を生成するのに苦労する。
推論時間に1世代しか利用できない場合,LLMを推論するための教師なし信頼度校正手法を提案する。
このアプローチでは、ラベル付きデータのオフラインサンプリングを使用して、自己整合性ベースのプロキシターゲットを導出し、この信号を軽量なデプロイメント時間信頼性予測器に蒸留する。
論文 参考訳（メタデータ） (2026-04-21T13:25:25Z) - Explicit Uncertainty Modeling for Active CLIP Adaptation with Dual Prompt Tuning [51.99383151474742]
デュアルプロンプトチューニングに基づくアクティブCLIP適応のためのロバストな不確実性モデリングフレームワークを提案する。
提案手法は,同一のアノテーション予算の下で,既存のアクティブラーニング手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-02-04T09:01:55Z) - Lightweight Inference-Time Personalization for Frozen Knowledge Graph Embeddings [0.0]
GatedBiasは知識グラフのための軽量な推論時パーソナライズフレームワークである。
プロファイル固有の機能は、グラフ由来のバイナリゲートと組み合わせて、解釈可能な、パーエンタリティバイアスを生成する。
2つのベンチマークデータセット上でGatedBiasを評価する。
論文 参考訳（メタデータ） (2025-12-26T22:30:37Z) - Reliable and Reproducible Demographic Inference for Fairness in Face Analysis [63.46525489354455]
本稿では、従来のエンドツーエンドトレーニングをモジュラートランスファー学習アプローチで置き換える、完全に再現可能なDAIパイプラインを提案する。
このパイプラインは、正確性、公正性、そしてアイデンティティ内整合性によって定義される、新たに導入された堅牢性の概念の3つの次元にわたって監査する。
以上の結果から,提案手法は特に民族性において,強い基準線を上回り,その特性はより困難であることが示唆された。
論文 参考訳（メタデータ） (2025-10-23T12:22:02Z) - Conf-Profile: A Confidence-Driven Reasoning Paradigm for Label-Free User Profiling [20.460209066277777]
ユーザプロファイリングのための信頼性駆動型プロファイル推論フレームワークConf-Profileを提案する。
Conf-Profileは2段階のトレーニングを通じて,Qwen3-8B上でF1を13.97改良し,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2025-09-23T09:58:37Z) - Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal [31.458406135473805]
異種不確実性証拠を正当性の校正確率に変換する統一フレームワークUniCRを提案する。
UniCRは、温度スケーリングと適切なスコアリングを備えた軽量なキャリブレーションヘッドを学習する。
ショートフォームQA、実行テスト付きコード生成、検索強化ロングフォームQAの実験は、キャリブレーションメトリクスの一貫性のある改善を示している。
論文 参考訳（メタデータ） (2025-09-01T13:14:58Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。