論文の概要: PersonaDual: Balancing Personalization and Objectivity via Adaptive Reasoning
- arxiv url: http://arxiv.org/abs/2601.08679v1
- Date: Tue, 13 Jan 2026 16:02:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.271919
- Title: PersonaDual: Balancing Personalization and Objectivity via Adaptive Reasoning
- Title（参考訳）: ペルソナダール:適応推論によるパーソナライゼーションと客観性のバランス
- Authors: Xiaoyou Liu, Xinyi Mou, Shengbin Yue, Liang Wang, Yuqing Wang, Qiexiang Wang, Tianrui Qin, Wangchunshu Zhou, Zhongyu Wei,
- Abstract要約: PersonaDualは、汎用的な客観的推論とパーソナライズされた推論の両方を単一のモデルでサポートする。
客観的およびパーソナライズされたベンチマークの実験は、PersonaDualが干渉を減らしながらパーソナライゼーションの利点を保っていることを示している。
- 参考スコア（独自算出の注目度）: 57.10486355722133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As users increasingly expect LLMs to align with their preferences, personalized information becomes valuable. However, personalized information can be a double-edged sword: it can improve interaction but may compromise objectivity and factual correctness, especially when it is misaligned with the question. To alleviate this problem, we propose PersonaDual, a framework that supports both general-purpose objective reasoning and personalized reasoning in a single model, and adaptively switches modes based on context. PersonaDual is first trained with SFT to learn two reasoning patterns, and then further optimized via reinforcement learning with our proposed DualGRPO to improve mode selection. Experiments on objective and personalized benchmarks show that PersonaDual preserves the benefits of personalization while reducing interference, achieving near interference-free performance and better leveraging helpful personalized signals to improve objective problem-solving.
- Abstract（参考訳）: ユーザがLLMを自分の好みに合わせることを期待していると、パーソナライズされた情報の価値が増す。
しかし、パーソナライズされた情報は、相互作用を改善することができるが、特に問題と一致していない場合に、客観性と事実の正しさを損なう可能性がある。
この問題を軽減するために,1つのモデルにおける汎用目的推論とパーソナライズ推論の両方をサポートするフレームワークであるPersonaDualを提案し,コンテキストに基づいてモードを適応的に切り替える。
PersonaDualはまずSFTで2つの推論パターンを学習し、次に提案したDualGRPOによる強化学習によりモード選択を改善する。
客観的およびパーソナライズされたベンチマーク実験により、PersonaDualは、干渉を減らしながらパーソナライゼーションの利点を保ち、干渉のない性能に近づき、パーソナライズされた信号を活用し、客観的問題解決を改善する。
関連論文リスト
- Towards Faithful and Controllable Personalization via Critique-Post-Edit Reinforcement Learning [22.252030067675065]
より忠実でコントロール可能なパーソナライゼーションを実現する,堅牢な強化学習フレームワークであるCristique-Post-Editを提案する。
本フレームワークは,(1)報奨ハッキングに抵抗する多次元スコアとテキスト批評を提供するパーソナライズドジェネレーティブ・リワード・モデル(GRM)と,(2)より標的的で効率的な学習のためのこれらの批判に基づいて,ポリシーモデルが自身の出力を更新する批評家・ポスト編集機構の2つの重要なコンポーネントを統合する。
論文 参考訳（メタデータ） (2025-10-21T17:40:03Z) - Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。
静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。
我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
論文 参考訳（メタデータ） (2025-09-30T18:55:28Z) - Enhancing Personalized Multi-Turn Dialogue with Curiosity Reward [15.054368169735872]
本稿では,好奇心に基づく固有報酬をマルチターンRLHFに組み込むために,ユーザモデルを活用することを提案する。
この新たな報酬機構により、LLMエージェントは会話を最適化してユーザモデルの精度を向上させることにより、ユーザ特性を積極的に推測することができる。
提案手法の有効性は,会話推薦タスクにおけるパーソナライズ性能の大幅な向上と,教育環境における異なる学習スタイルにおける会話のパーソナライズという2つの領域で実証する。
論文 参考訳（メタデータ） (2025-04-04T06:35:02Z) - Personalized Adaptation via In-Context Preference Learning [20.042909385219716]
Preference Pretrained Transformer (PPT) は、オンラインユーザフィードバックを用いた適応型パーソナライズのための新しいアプローチである。
この結果から,大規模言語モデルにおけるスケーラブルで効率的なパーソナライズのためのコンテキスト内学習の可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-17T20:06:02Z) - Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。
既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。
制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
論文 参考訳（メタデータ） (2024-02-29T12:12:30Z) - Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。
個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。
P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
論文 参考訳（メタデータ） (2024-02-06T04:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。