論文の概要: Is Your LLM-as-a-Recommender Agent Trustable? LLMs' Recommendation is Easily Hacked by Biases (Preferences)

• arxiv url: http://arxiv.org/abs/2603.17417v1
• Date: Wed, 18 Mar 2026 06:50:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.552935
• Title: Is Your LLM-as-a-Recommender Agent Trustable? LLMs' Recommendation is Easily Hacked by Biases (Preferences)
• Title（参考訳）: LLM-as-a-Recommender Agentは信頼できるのか?
• Authors: Zichen Tang, Zirui Zhang, Qian Wang, Zhenheng Tang, Bo Li, Xiaowen Chu,
• Abstract要約: textbfBias textbfRecommendation textbfBenchmarkを導入し、高価値な実世界のタスクにおけるバイアスに対するそのようなエージェントの致命的な脆弱性を明らかにする。 このベンチマークには、ペーパーレビュー、eコマース、求職の3つの実践的領域が含まれている。
• 参考スコア（独自算出の注目度）: 28.6608041553667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Large Language Models (LLMs) are gradually exploited in practically valuable agentic workflows such as Deep Research, E-commerce recommendation, and job recruitment. In these applications, LLMs need to select some optimal solutions from massive candidates, which we term as \textit{LLM-as-a-Recommender} paradigm. However, the reliability of using LLM agents for recommendations is underexplored. In this work, we introduce a \textbf{Bias} \textbf{Rec}ommendation \textbf{Bench}mark (\textbf{BiasRecBench}) to highlight the critical vulnerability of such agents to biases in high-value real-world tasks. The benchmark includes three practical domains: paper review, e-commerce, and job recruitment. We construct a \textsc{Bias Synthesis Pipeline with Calibrated Quality Margins} that 1) synthesizes evaluation data by controlling the quality gap between optimal and sub-optimal options to provide a calibrated testbed to elicit the vulnerability to biases; 2) injects contextual biases that are logical and suitable for option contexts. Extensive experiments on both SOTA (Gemini-{2.5,3}-pro, GPT-4o, DeepSeek-R1) and small-scale LLMs reveal that agents frequently succumb to injected biases despite having sufficient reasoning capabilities to identify the ground truth. These findings expose a significant reliability bottleneck in current agentic workflows, calling for specialized alignment strategies for LLM-as-a-Recommender. The complete code and evaluation datasets will be made publicly available shortly.
• Abstract（参考訳）: 現在のLarge Language Models (LLM) は、Deep Research、Eコマースレコメンデーション、求人など、実用的に価値のあるエージェントワークフローに徐々に活用されている。 これらのアプリケーションでは、LLMは大規模候補から最適解を選択する必要があり、これを「textit{LLM-as-a-Recommender}」パラダイムと呼ぶ。 しかし、レコメンデーションにLLMエージェントを使用することの信頼性は低い。 本稿では、高価値な実世界のタスクにおけるバイアスに対するそのようなエージェントの致命的な脆弱性を明らかにするために、 \textbf{Bias} \textbf{Rec}ommendation \textbf{Bench}mark (\textbf{BiasRecBench})を紹介する。 このベンチマークには、ペーパーレビュー、eコマース、求職の3つの実践的領域が含まれている。 校正品質マージンを用いた \textsc{Bias 合成パイプラインを構築する。 1) 最適選択肢と準最適選択肢の間の品質ギャップを制御して評価データを合成し、その脆弱性をバイアスに引き出すための校正試験台を提供する。 2) オプションコンテキストに適した,論理的かつ適切なコンテキストバイアスを注入する。 SOTA (Gemini-{2.5,3}-pro, GPT-4o, DeepSeek-R1) および小規模 LLM の広範な実験により、エージェントが基底真理を特定するのに十分な推論能力を持っているにもかかわらず、しばしばバイアスを注入することが明らかとなった。 これらの結果は,現在のエージェントワークフローにおいて,LCM-as-a-Recommenderの特別なアライメント戦略を要求される重要な信頼性ボトルネックを呈している。 完全なコードと評価データセットは近く公開される予定だ。

関連論文リスト

• RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
  テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。 C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。 SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
  論文  参考訳（メタデータ） (2026-02-28T14:47:34Z)
• Evaluating Position Bias in Large Language Model Recommendations [3.430780143519032]
  大規模言語モデル(LLM)は、リコメンデーションタスクのための汎用ツールとして、ますます研究されている。 LLMをベースとした推薦モデルは位置バイアスに悩まされ、その場合、プロンプト内の候補項目の順序がLLMの推薦に不均等に影響を及ぼす可能性がある。 本稿では,LLMレコメンデーションモデルにおける位置バイアスを軽減するための新たなプロンプト戦略であるRightingをIterative Selection経由で導入する。
  論文  参考訳（メタデータ） (2025-08-04T03:30:26Z)
• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• LLM-Assisted Relevance Assessments: When Should We Ask LLMs for Help? [20.998805709422292]
  テストコレクションは、研究者が素早く簡単にランキングアルゴリズムを評価することができる情報検索ツールである。 より安価な代替手段として、近年の研究では、人間のアセスメントを完全に置き換えるために大きな言語モデル(LLM)が提案されている。 LARAは、手動アノテーションとLLMアノテーションのバランスをとる効果的な方法であり、低予算でもリッチで信頼性の高いテストコレクションを構築するのに役立つ。
  論文  参考訳（メタデータ） (2024-11-11T11:17:35Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• LLM4MSR: An LLM-Enhanced Paradigm for Multi-Scenario Recommendation [52.55639178180821]
  マルチシナリオレコメンデーション(MSR)の研究は注目されており、すべてのシナリオのデータを使用してレコメンデーションのパフォーマンスを同時に改善している。 既存の手法では、不十分なシナリオ知識を統合し、パーソナライズされたクロスシナリオの嗜好を無視する傾向があり、それによってサブ最適パフォーマンスがもたらされる。 本稿では,これらのギャップを埋めるために,大規模言語モデル (LLM) 拡張パラダイム LLM4MSR を提案する。
  論文  参考訳（メタデータ） (2024-06-18T11:59:36Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Large Language Models are Not Stable Recommender Systems [45.941176155464824]
  大規模言語モデル(LLM)における探索的研究の導入と位置バイアスの一貫したパターンの発見について述べる。 本稿では,2段階パイプラインを含むベイズ確率的フレームワークSTELLA(Stable LLM for Recommendation)を提案する。 我々のフレームワークは、既存のパターン情報を利用してLCMの不安定性を校正し、レコメンデーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-25T14:54:33Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。