論文の概要: Conf-Profile: A Confidence-Driven Reasoning Paradigm for Label-Free User Profiling
- arxiv url: http://arxiv.org/abs/2509.18864v1
- Date: Tue, 23 Sep 2025 09:58:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.806886
- Title: Conf-Profile: A Confidence-Driven Reasoning Paradigm for Label-Free User Profiling
- Title（参考訳）: Conf-Profile - ラベルなしユーザプロファイリングのための信頼性駆動推論パラダイム
- Authors: Yingxin Li, Jianbo Zhao, Xueyu Ren, Jie Tang, Wangjie You, Xu Chen, Kan Zhou, Chao Feng, Jiao Ran, Yuan Meng, Zhi Wang,
- Abstract要約: ユーザプロファイリングのための信頼性駆動型プロファイル推論フレームワークConf-Profileを提案する。
Conf-Profileは2段階のトレーニングを通じて,Qwen3-8B上でF1を13.97改良し,大幅な性能向上を実現している。
- 参考スコア（独自算出の注目度）: 20.460209066277777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User profiling, as a core technique for user understanding, aims to infer structural attributes from user information. Large Language Models (LLMs) provide a promising avenue for user profiling, yet the progress is hindered by the lack of comprehensive benchmarks. To bridge this gap, we propose ProfileBench, an industrial benchmark derived from a real-world video platform, encompassing heterogeneous user data and a well-structured profiling taxonomy. However, the profiling task remains challenging due to the difficulty of collecting large-scale ground-truth labels, and the heterogeneous and noisy user information can compromise the reliability of LLMs. To approach label-free and reliable user profiling, we propose a Confidence-driven Profile reasoning framework Conf-Profile, featuring a two-stage paradigm. We first synthesize high-quality labels by leveraging advanced LLMs with confidence hints, followed by confidence-weighted voting for accuracy improvement and confidence calibration for a balanced distribution. The multiple profile results, rationales, and confidence scores are aggregated and distilled into a lightweight LLM. We further enhance the reasoning ability via confidence-guided unsupervised reinforcement learning, which exploits confidence for difficulty filtering, quasi-ground truth voting, and reward weighting. Experimental results demonstrate that Conf-Profile delivers substantial performance through the two-stage training, improving F1 by 13.97 on Qwen3-8B.
- Abstract（参考訳）: ユーザプロファイリングは、ユーザ情報から構造的属性を推論することを目的としている。
大規模言語モデル(LLM)は、ユーザプロファイリングのための有望な道を提供するが、包括的なベンチマークが欠如しているため、進歩は妨げられている。
このギャップを埋めるために、異質なユーザデータとよく構造化されたプロファイリング分類を含む実世界のビデオプラットフォームから派生した産業ベンチマークであるProfileBenchを提案する。
しかし,大規模な地下構造ラベルの収集が困難であることや,不均一でノイズの多いユーザ情報がLCMの信頼性を損なう可能性があるため,プロファイリング作業は依然として困難である。
ラベルフリーで信頼性の高いユーザプロファイリングにアプローチするために,2段階のパラダイムを特徴とするConf-Profileの信頼性駆動型プロファイル推論フレームワークを提案する。
まず,信頼性ヒントを付加した高度なLCMを用いて高品質なラベルを合成し,次いで信頼性向上のための信頼度重み付き投票を行い,バランスの取れた分布に対する信頼度校正を行う。
複数プロファイル結果、有理性、信頼性スコアを集約し、軽量LCMに蒸留する。
信頼性誘導型教師なし強化学習による推論能力をさらに強化し, 難解なフィルタリング, 準基底的真理投票, 報酬重み付けに信頼性を活用する。
実験の結果、Conf-Profileは2段階のトレーニングを通じてかなりの性能を示し、Qwen3-8BでF1を13.97改善した。
関連論文リスト
- ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。
LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
論文 参考訳（メタデータ） (2025-08-26T09:25:32Z) - Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。
本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。
論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文 参考訳（メタデータ） (2025-08-16T13:29:35Z) - A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models [6.62851757612838]
大規模言語モデル(LLM)に対する現在の信頼度推定法は,応答と文脈情報の関連性を無視する。
本稿では,2つの新しい指標を用いた信頼度推定のためのコンテキスト忠実度と一貫性を統合したCRUXを提案する。
3つのベンチマークデータセットに対する実験は、CRUXの有効性を示し、既存のベースラインよりも高いAUROCを達成した。
論文 参考訳（メタデータ） (2025-08-01T12:58:34Z) - Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization [35.269343563526675]
我々は,大規模言語モデルに忠実な世代と不誠実な世代を明確に区別するためのフレームワークであるRHIOを提案する。
RHIOは、検索ヘッドを選択的にマスキングすることで、現実的なモデル固有のエラーをシミュレートする不誠実なサンプルを最初に強化する。
これらのサンプルは共同トレーニングに組み込まれ、制御トークンに条件付けられた忠実なものから不誠実な出力を区別することができる。
論文 参考訳（メタデータ） (2025-01-23T11:23:25Z) - Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。
原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。
本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-01-02T16:38:21Z) - On Verbalized Confidence Scores for LLMs [25.160810008907397]
大規模言語モデル(LLM)の不確実性定量化は、その応答に対するより人間的な信頼を確立することができる。
この研究は、出力トークンの一部として信頼度スコアで不確実性を言語化するようLLM自身に求めることに重点を置いている。
我々は、異なるデータセット、モデル、およびプロンプトメソッドに関して、言語化された信頼度スコアの信頼性を評価する。
論文 参考訳（メタデータ） (2024-12-19T11:10:36Z) - Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。
また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文 参考訳（メタデータ） (2024-11-20T14:15:18Z) - Prompt Tuning as User Inherent Profile Inference Machine [53.78398656789463]
本稿では,ユーザプロファイルの推測にプロンプトチューニングを用いるUserIP-Tuningを提案する。
プロファイル量子化コードブックは、プロファイル埋め込みによるモダリティギャップを協調IDにブリッジする。
4つの公開データセットの実験では、UserIP-Tuningは最先端のレコメンデーションアルゴリズムを上回っている。
論文 参考訳（メタデータ） (2024-08-13T02:25:46Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。
さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。
生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
論文 参考訳（メタデータ） (2024-05-31T16:21:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。