論文の概要: Addressing Popularity Bias in Third-Party Library Recommendations Using LLMs
- arxiv url: http://arxiv.org/abs/2501.10313v1
- Date: Fri, 17 Jan 2025 17:35:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 14:00:23.076207
- Title: Addressing Popularity Bias in Third-Party Library Recommendations Using LLMs
- Title(参考訳): LLMを用いた第三者図書館勧告における普及バイアスの対応
- Authors: Claudio Di Sipio, Juri Di Rocco, Davide Di Ruscio, Vladyslav Bulhakov,
- Abstract要約: 本稿では,サードパーティライブラリ(TPL)の推薦システムにおける人気バイアスに対処する大規模言語モデルの能力について検討する。
我々は,最新技術を用いたアブレーション研究を行い,微調整や人気ペナルティのメカニズムを含む,人気バイアスを軽減する。
提案するレコメンデーションの多様性の向上には,微調整・後処理のペナルティ機構が寄与するにもかかわらず,提案するレコメンデーションの人気バイアスには対処できないことが明らかとなった。
- 参考スコア(独自算出の注目度): 6.106023882846559
- License:
- Abstract: Recommender systems for software engineering (RSSE) play a crucial role in automating development tasks by providing relevant suggestions according to the developer's context. However, they suffer from the so-called popularity bias, i.e., the phenomenon of recommending popular items that might be irrelevant to the current task. In particular, the long-tail effect can hamper the system's performance in terms of accuracy, thus leading to false positives in the provided recommendations. Foundation models are the most advanced generative AI-based models that achieve relevant results in several SE tasks. This paper aims to investigate the capability of large language models (LLMs) to address the popularity bias in recommender systems of third-party libraries (TPLs). We conduct an ablation study experimenting with state-of-the-art techniques to mitigate the popularity bias, including fine-tuning and popularity penalty mechanisms. Our findings reveal that the considered LLMs cannot address the popularity bias in TPL recommenders, even though fine-tuning and post-processing penalty mechanism contributes to increasing the overall diversity of the provided recommendations. In addition, we discuss the limitations of LLMs in this context and suggest potential improvements to address the popularity bias in TPL recommenders, thus paving the way for additional experiments in this direction.
- Abstract(参考訳): ソフトウェアエンジニアリングのためのレコメンダシステム(RSSE)は、開発者のコンテキストに応じて関連する提案を提供することで、開発タスクの自動化において重要な役割を果たす。
しかし、彼らはいわゆる人気バイアス、すなわち現在の仕事とは無関係かもしれない人気アイテムを推薦する現象に悩まされている。
特に、ロングテール効果はシステムの性能を精度で妨げ、提供された推奨に偽陽性をもたらす。
ファンデーションモデルは、いくつかのSEタスクで関連する結果を達成する最も先進的なAIベースのモデルである。
本稿では,大規模言語モデル(LLM)が,サードパーティライブラリ(TPL)のレコメンデータシステムにおいて,人気バイアスに対処する能力について検討する。
我々は,最新技術を用いたアブレーション研究を行い,微調整や人気ペナルティのメカニズムを含む,人気バイアスを軽減する。
提案するレコメンデーションの多様性の向上には,微調整・後処理のペナルティ機構が寄与するにもかかわらず,提案するレコメンデーションの人気バイアスには対処できないことが明らかとなった。
さらに、この文脈におけるLLMの限界について議論し、TPLレコメンデータの人気バイアスに対処するための潜在的な改善を提案する。
関連論文リスト
- Correcting for Popularity Bias in Recommender Systems via Item Loss Equalization [1.7771454131646311]
人気アイテムの小さなセットが、高い相互作用率のために推奨結果を支配している。
この現象は、ニッチな興味のある人を無視しながら、メインストリームの趣味を持つユーザーに不当に利益をもたらす。
本稿では,推薦モデルのトレーニングプロセスに介入することで,この問題に対処するプロセス内アプローチを提案する。
論文 参考訳(メタデータ) (2024-10-07T08:34:18Z) - Cognitive Biases in Large Language Models for News Recommendation [68.90354828533535]
本稿では,認知バイアスが大規模言語モデル(LLM)に基づくニュースレコメンデータシステムに与える影響について検討する。
データ拡張、エンジニアリングと学習アルゴリズムの側面を通じて、これらのバイアスを軽減する戦略について議論する。
論文 参考訳(メタデータ) (2024-10-03T18:42:07Z) - Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。
提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。
当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文 参考訳(メタデータ) (2024-10-03T17:53:30Z) - Incorporate LLMs with Influential Recommender System [34.5820082133773]
プロアクティブレコメンデーションシステムは、ターゲットアイテムに対するユーザの関心を導くために、一連のアイテムを推奨します。
既存のメソッドは、ユーザが楽しむであろうアイテムで構成された一貫性のある影響パスを構築するのに苦労しています。
LLM-based Influence Path Planning (LLM-IPP) という新しいアプローチを導入する。
提案手法は,連続したレコメンデーションの一貫性を維持し,推奨項目のユーザ受け入れ性を高める。
論文 参考訳(メタデータ) (2024-09-07T13:41:37Z) - On Softmax Direct Preference Optimization for Recommendation [50.896117978746]
そこで我々は,LMをベースとした推奨項目の識別を支援するために,ランキング情報をLMに挿入するソフトマックスDPO(S-DPO)を提案する。
具体的には、ユーザの嗜好データに複数の負を組み込んで、LMベースのレコメンデータに適したDPO損失の代替版を考案する。
論文 参考訳(メタデータ) (2024-06-13T15:16:11Z) - Large Language Models as Recommender Systems: A Study of Popularity Bias [46.17953988777199]
人気アイテムは不釣り合いに推奨され、あまり人気がないが、潜在的に関連のあるアイテムを誇張している。
近年,汎用大規模言語モデルのレコメンデーションシステムへの統合が進んでいる。
本研究は,LLMがレコメンデーションシステムにおける人気バイアスに寄与するか否かを検討する。
論文 参考訳(メタデータ) (2024-06-03T12:53:37Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - Metrics for popularity bias in dynamic recommender systems [0.0]
バイアスドレコメンデーションは個人、敏感なユーザーグループ、社会に悪影響を及ぼす可能性のある決定につながる可能性がある。
本稿では,RecSysモデルの出力から直接発生する人気バイアスの定量化に着目する。
RescSysにおける人気バイアスを時間とともに定量化するための4つの指標が提案されている。
論文 参考訳(メタデータ) (2023-10-12T16:15:30Z) - Off-policy evaluation for learning-to-rank via interpolating the
item-position model and the position-based model [83.83064559894989]
産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。
我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。
特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
論文 参考訳(メタデータ) (2022-10-15T17:22:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。