論文の概要: Lightweight Fairness for LLM-Based Recommendations via Kernelized Projection and Gated Adapters
- arxiv url: http://arxiv.org/abs/2603.23780v1
- Date: Tue, 24 Mar 2026 23:26:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.052949
- Title: Lightweight Fairness for LLM-Based Recommendations via Kernelized Projection and Gated Adapters
- Title(参考訳): カーネル化射影とゲートアダプタによるLCMによる勧告の軽量化
- Authors: Nan Cui, Wendy Hui Wang, Yue Ning,
- Abstract要約: 大規模言語モデル(LLM)は、動的、コンテキスト認識、会話的レコメンデーションを可能にする、レコメンデーションシステムのための新しい機能を導入した。
LLMは、特に人口統計学的手がかりが存在する場合、トレーニング前のデータに埋め込まれた社会的バイアスを増幅する。
本稿では,カーネル化された反復核空間投影(INLP)とゲート型Mixture-of-Experts(MoE)アダプタを組み合わせた軽量でスケーラブルなバイアス軽減手法を提案する。
- 参考スコア(独自算出の注目度): 6.204830452202052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have introduced new capabilities to recommender systems, enabling dynamic, context-aware, and conversational recommendations. However, LLM-based recommender systems inherit and may amplify social biases embedded in their pre-training data, especially when demographic cues are present. Existing fairness solutions either require extra parameters fine-tuning, or suffer from optimization instability. We propose a lightweight and scalable bias mitigation method that combines a kernelized Iterative Null-space Projection (INLP) with a gated Mixture-of-Experts (MoE) adapter. Our approach estimates a closed-form projection that removes single or multiple sensitive attributes from LLM representations with no additional trainable parameters. To preserve task utility, we introduce a two-level MoE adapter that selectively restores useful signals without reintroducing bias. Experiments on two public datasets show that our method reduces attribute leakage across multiple protected variables while maintaining competitive recommendation accuracy.
- Abstract(参考訳): 大規模言語モデル(LLM)は、動的、コンテキスト認識、会話的レコメンデーションを可能にする、レコメンデーションシステムのための新しい機能を導入した。
しかし、LSMベースのレコメンデータシステムは、特に人口統計学的手がかりが存在する場合、事前学習データに埋め込まれた社会的バイアスを拡大する可能性がある。
既存の公平性ソリューションでは、パラメータを微調整するか、最適化の不安定性に悩まされる。
本稿では,カーネル化された反復核空間投影(INLP)とゲート型Mixture-of-Experts(MoE)アダプタを組み合わせた軽量でスケーラブルなバイアス軽減手法を提案する。
提案手法は,LLM表現から単一あるいは複数の機密属性を除去し,学習可能なパラメータを付加しない閉形式プロジェクションを推定する。
タスクの利便性を維持するために、バイアスを再導入することなく有用な信号を選択的に復元する2レベルMoEアダプタを導入する。
2つの公開データセットの実験により,提案手法は複数の保護変数にまたがる属性リークを低減するとともに,競合レコメンデーションの精度を維持した。
関連論文リスト
- Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。
負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。
3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
論文 参考訳(メタデータ) (2026-02-19T14:37:43Z) - An Efficient LLM-based Evolutional Recommendation with Locate-Forget-Update Paradigm [28.576122918607165]
大規模言語モデル(LLM)は、逐次レコメンデーションにおいて例外的なパフォーマンスを示している。
LLMベースのレコメンデータシステム(LLMRec)の採用は、既存のeコマースプラットフォームでますます広まっている。
論文 参考訳(メタデータ) (2025-11-20T14:36:58Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-18T16:14:59Z) - Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation [33.05581803204543]
事前訓練された大規模言語モデル(LLM)の適応は極めて重要であるが、その巨大なサイズのため困難である。
スケッチチューン(SketchTune)は、重みをコンパクトな微調整可能なスケッチに圧縮する圧縮適応戦略である。
SketchTuneは、低ランクメソッドではなくスケッチによって近似された行列クラスに関する数学的洞察によってサポートされている。
論文 参考訳(メタデータ) (2024-10-08T20:58:24Z) - LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。
LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
論文 参考訳(メタデータ) (2024-09-30T03:59:06Z) - Laser: Parameter-Efficient LLM Bi-Tuning for Sequential Recommendation with Collaborative Information [76.62949982303532]
協調情報を用いた逐次レコメンデーションのためのパラメータ効率の高い大規模言語モデルバイチューニングフレームワーク(Laser)を提案する。
我々のレーザーでは,プレフィックスを用いてユーザと協調的な情報を取り込み,LLMをレコメンデーションタスクに適応させ,サフィックスは言語空間からレコメンデーションスペースへのLLMの出力埋め込みをリコメンデーション項目レコメンデーションスペースに変換する。
M-Formerは軽量なMoEベースのクエリ変換器で、クエリ専門家のセットを使用して、凍結IDベースのシーケンシャルレコメンデータシステムによって符号化された多様なユーザ固有の協調情報を統合する。
論文 参考訳(メタデータ) (2024-09-03T04:55:03Z) - LANE: Logic Alignment of Non-tuning Large Language Models and Online Recommendation Systems for Explainable Reason Generation [15.972926854420619]
大きな言語モデル(LLM)を活用することで、包括的なレコメンデーションロジック生成の新しい機会を提供する。
レコメンデーションタスクのための微調整LDMモデルは、計算コストと既存のシステムとのアライメントの問題を引き起こす。
本研究は,LLMとオンラインレコメンデーションシステムとの連携を,LLMのチューニングを伴わない効果的戦略LANEを提案する。
論文 参考訳(メタデータ) (2024-07-03T06:20:31Z) - LLM4MSR: An LLM-Enhanced Paradigm for Multi-Scenario Recommendation [52.55639178180821]
マルチシナリオレコメンデーション(MSR)の研究は注目されており、すべてのシナリオのデータを使用してレコメンデーションのパフォーマンスを同時に改善している。
既存の手法では、不十分なシナリオ知識を統合し、パーソナライズされたクロスシナリオの嗜好を無視する傾向があり、それによってサブ最適パフォーマンスがもたらされる。
本稿では,これらのギャップを埋めるために,大規模言語モデル (LLM) 拡張パラダイム LLM4MSR を提案する。
論文 参考訳(メタデータ) (2024-06-18T11:59:36Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳(メタデータ) (2024-05-31T14:21:04Z) - Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game [31.66896160733569]
そこで本稿では,より効率的な人選好最適化を目的としたAPO(Adversarial Preference Optimization)フレームワークを提案する。
提案手法は,LLMの有効性と無害性の観点から,既存のアライメントベースラインをさらに強化する。
論文 参考訳(メタデータ) (2023-11-14T10:10:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。