論文の概要: Neither Over- nor Under-Constrained: Evaluating LLM Personalization under a Constraint Qualification Audit

• arxiv url: http://arxiv.org/abs/2610.25676v1
• Date: Mon, 19 Oct 2026 02:24:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:41:29.538599
• Title: Neither Over- nor Under-Constrained: Evaluating LLM Personalization under a Constraint Qualification Audit
• Title（参考訳）: 過度・過度制約:制約条件付監査によるLLMパーソナライゼーションの評価
• Abstract要約: ConQual-Auditは監査ベースのフレームワークで、3段階のプロセスを通じてLCMのパーソナライゼーションを評価する。 最上位のAUC(0.88と0.90)と最下位の偽レート(0.21)を再生可能な監査コストで達成する。
• 参考スコア（独自算出の注目度）: 25.539904066738288
• License:
• Abstract: Accurate evaluation of LLM personalization is hindered by current evaluation paradigms that over- or under-constrain the response space, yielding frequent false rejections and false acceptances. To reduce these false rates, we introduce ConQual-Audit, an audit-based framework that evaluates LLM personalization through a three-stage process: (1) extracting semantic constraints from user profiles and task-grounded reference; (2) qualifying constraints by pruning unnecessary constraints and recovering missing constraints; and (3) verifying candidate responses against the audited constraints via natural language inference. Across PrefEval and LaMP, ConQual-Audit outperforms nine baselines, attaining top AUCs (0.88 and 0.90) and the lowest false rate (0.21) on the leanest constraint sets at an amortizable audit cost. Crucially, this constraint audit is portable: integrating it into ExPerT and PREF helps revise smaller, higher-quality constraint sets to reduce their evaluation false rates.
• Abstract（参考訳）: LLMのパーソナライゼーションの正確な評価は、応答空間を過度または過度に制限する現在の評価パラダイムによって妨げられ、しばしば偽の拒絶と偽の受け入れをもたらす。 本研究では,(1)ユーザプロファイルとタスクグラウンド参照から意味的制約を抽出すること,(2)不必要な制約を抽出し,欠落した制約を回復すること,(3)自然言語推論によって監査された制約に対する候補応答を検証すること,の3段階のプロセスを通じてLCMのパーソナライゼーションを評価する監査ベースのフレームワークであるConQual-Auditを紹介する。 PrefEval と LaMP 全体では、ConQual-Audit は9つのベースラインを上回り、AUC (0.88 と 0.90) の上位に到達し、最も低い制約セットの最小の偽レート (0.21) を再生可能な監査コストで達成した。 ExPerTとPreFに組み込むことで、より小さく高品質な制約セットを修正して、評価の誤ったレートを低減できます。

関連論文リスト

• One-Sided Verification Under Limited Expert Review [81.81806589083486]
  我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。 我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。 実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
  論文  参考訳（メタデータ） (2026-10-13T10:10:11Z)
• Fairness Auditing: Lower Bounds on Company Manipulation [4.867679624126028]
  フェアネス監査は、雇用、貸与、自動意思決定といった高度なアプリケーションでますます義務付けられている。 最近の研究はブラックボックスフェアネス監査の基本的な不可能な結果を確立している。 有限監査資源の下では避けられない事後操作の程度を定量化する。
  論文  参考訳（メタデータ） (2026-08-01T10:11:20Z)
• STAIF: A Stage-wise Optimization for Complex Instruction Following [50.48101504556211]
  STAIFは、客観的に検証可能な(ハード)制約の最適化から主観的(ソフト)制約のアライメントを分離する段階的な最適化フレームワークである。 この方法を支援するために,約31,000の複雑なマルチ制約命令からなる高品質なバイリンガル(英語,中国語)データセットであるSTAINSTRUCTを構築した。
  論文  参考訳（メタデータ） (2026-06-26T06:14:07Z)
• Evaluating LLM Personalization via Semantic Constraint Verification [25.539904066738288]
  自然言語推論制約検証(NLICV)を導入する。 NLICVは文の意味を真理条件集合にマッピングし、自然言語推論(NLI)モデルを介してパーソナライズ制約を検証する。 実験によると、NLICVは人間のアノテーションと密接に一致し、LLMの審査員によるレイテンシとトークンコストを大幅に削減している。
  論文  参考訳（メタデータ） (2026-06-15T08:04:56Z)
• Optimistic Feasible Search for Closed-Loop Fair Threshold Decision-Making [0.0]
  バンディットフィードバックからの1次元しきい値ポリシーのオンライン学習について検討する。 我々は,報酬と制約残差に対する信頼境界を維持する単純なグリッドベース手法であるOptimistic Feasible Search (OFS)を提案する。
  論文  参考訳（メタデータ） (2025-12-26T10:44:40Z)
• The Alignment Auditor: A Bayesian Framework for Verifying and Refining LLM Objectives [8.030821324147515]
  逆強化学習は、行動から報酬関数を推測することができる。 既存のアプローチは、単一で自信過剰な報酬推定を生成するか、タスクの基本的な曖昧さに対処できないかのいずれかです。 本稿では,簡単な推定タスクから総合的な検証プロセスへ報酬推論を再構成する,原則的監査フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T16:25:14Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• Exterior Penalty Policy Optimization with Penalty Metric Network under Constraints [52.37099916582462]
  制約強化学習(CRL:Constrained Reinforcement Learning)では、エージェントが制約を満たしながら最適なポリシーを学習するために環境を探索する。 我々は,刑罰科目ネットワーク(PMN)が生み出す適応的な罰則を持つ,理論的に保証された刑罰関数法(Exterior Penalty Policy Optimization (EPO))を提案する。 PMNは様々な制約違反に適切に対応し、効率的な制約満足度と安全な探索を可能にする。
  論文  参考訳（メタデータ） (2024-07-22T10:57:32Z)
• Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
  推論(Reasoning)とは、証拠を使って結論に達する認知過程である。 近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。 テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
  論文  参考訳（メタデータ） (2023-09-05T11:32:48Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。