論文の概要: The Pitfalls of Growing Group Complexity: LLMs and Social Choice-Based Aggregation for Group Recommendations
- arxiv url: http://arxiv.org/abs/2505.05016v1
- Date: Thu, 08 May 2025 07:43:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 21:43:49.790777
- Title: The Pitfalls of Growing Group Complexity: LLMs and Social Choice-Based Aggregation for Group Recommendations
- Title(参考訳): 集団複雑化の落とし穴--LLMと集団勧告のための社会的選択に基づく集約
- Authors: Cedric Waterschoot, Nava Tintarev, Francesco Barile,
- Abstract要約: Group Recommender Systems (GRS) は、社会的選択に基づくアグリゲーション戦略を使って単一のレコメンデーションを導いた。
ゼロショット学習に基づいて,言語モデルがこれらの戦略を正しく実行できる条件について検討する。
100以上のレーティングを考慮すると、パフォーマンスが低下し始めています。
今後の研究は、GRS評価の要素としてグループ複雑性を含むべきであると結論付けている。
- 参考スコア(独自算出の注目度): 2.6470894980840525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly applied in recommender systems aimed at both individuals and groups. Previously, Group Recommender Systems (GRS) often used social choice-based aggregation strategies to derive a single recommendation based on the preferences of multiple people. In this paper, we investigate under which conditions language models can perform these strategies correctly based on zero-shot learning and analyse whether the formatting of the group scenario in the prompt affects accuracy. We specifically focused on the impact of group complexity (number of users and items), different LLMs, different prompting conditions, including In-Context learning or generating explanations, and the formatting of group preferences. Our results show that performance starts to deteriorate when considering more than 100 ratings. However, not all language models were equally sensitive to growing group complexity. Additionally, we showed that In-Context Learning (ICL) can significantly increase the performance at higher degrees of group complexity, while adding other prompt modifications, specifying domain cues or prompting for explanations, did not impact accuracy. We conclude that future research should include group complexity as a factor in GRS evaluation due to its effect on LLM performance. Furthermore, we showed that formatting the group scenarios differently, such as rating lists per user or per item, affected accuracy. All in all, our study implies that smaller LLMs are capable of generating group recommendations under the right conditions, making the case for using smaller models that require less computing power and costs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、個人とグループの両方を対象としたレコメンデーションシステムにますます適用されています。
以前は、グループレコメンダシステム(GRS)は、複数の人の好みに基づいて単一のレコメンデーションを導き出すために、社会的選択に基づくアグリゲーション戦略を使用していた。
本稿では、ゼロショット学習に基づいて、言語モデルがこれらの戦略を正しく実行できる条件について検討し、グループシナリオのプロンプトにおけるフォーマットが精度に影響を及ぼすかどうかを解析する。
具体的には,グループ複雑性の影響(ユーザ数と項目数),LDMの違い,インコンテキスト学習や説明生成など,さまざまなプロンプト条件,グループ嗜好の形式化に着目した。
その結果,100以上の評価を考慮すれば,性能が低下し始めることが明らかとなった。
しかし、全ての言語モデルがグループ複雑性の増加に等しく敏感であったわけではない。
さらに、ICL(In-Context Learning)は、グループ複雑性の度合いが向上する一方で、他のプロンプト修正やドメインの指定、説明のプロンプトなどを追加しても、正確さには影響しないことを示した。
今後の研究は、LSMの性能に影響を及ぼすため、GRS評価の要素としてグループ複雑性を含めるべきである、と結論付けている。
さらに、ユーザごとのレーティングリストや項目ごとのレーティングリストなど、グループシナリオのフォーマットが異なることが、精度に影響を及ぼすことを示した。
全体として、我々の研究は、小さなLLMが適切な条件下でグループレコメンデーションを生成できることを示唆しており、より少ない計算能力とコストを必要とする小さなモデルを使用することを前提としている。
関連論文リスト
- Unleashing the Power of Large Language Models for Group POI Recommendations [39.49785677738477]
Group Point-of-Interest(POI)推奨は、あるグループのユーザの多様な嗜好を満たす次のPOIを予測することを目的としている。
グループPOIレコメンデーションの既存の方法は、チェックインデータからの単一のIDベースの機能に依存している。
文脈認識グループPOIレコメンデーションのためのLarge Language Model(LLM)のパワーを解放するフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-20T16:02:14Z) - DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。
具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。
このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文 参考訳(メタデータ) (2024-06-25T04:27:53Z) - Group Robust Preference Optimization in Reward-free RLHF [23.622835830345725]
そこで本研究では,大規模言語モデルと各グループの嗜好を密に整合させる新しいグループロバスト選好最適化法を提案する。
これを達成するため、GRPOは異なるグループの重要性を適応的かつ順次重み付けし、累積損失が悪化したグループを優先順位付けする。
我々は,最悪のパフォーマンス群の性能向上,グループ間の損失不均衡の低減,確率精度の向上について検討した。
論文 参考訳(メタデータ) (2024-05-30T17:50:04Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:52:30Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - Group Preference Optimization: Few-Shot Alignment of Large Language Models [28.464834028110538]
グループ優先最適化(Group Preference Optimization)は、言語モデルを数ショットで個々のグループを選好する。
大規模言語モデルを用いた厳密な評価により, GPOの有効性を実証的に検証した。
以上の結果から,GPOはモデルをより正確に整合させるだけでなく,グループ固有の嗜好を少なくし,トレーニングや推論のリソースを少なくする。
論文 参考訳(メタデータ) (2023-10-17T18:41:57Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2022-01-10T22:04:48Z) - Overcoming Data Sparsity in Group Recommendation [52.00998276970403]
グループレコメンデータシステムは、ユーザの個人的な好みだけでなく、嗜好集約戦略も正確に学習できなければならない。
本稿では,BGEM(Bipartite Graphding Model)とGCN(Graph Convolutional Networks)を基本構造として,グループとユーザ表現を統一的に学習する。
論文 参考訳(メタデータ) (2020-10-02T07:11:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。