Fugu-MT 論文翻訳(概要): The Utility of LLMs in Recommender Systems Explanation Evaluation

論文の概要: The Utility of LLMs in Recommender Systems Explanation Evaluation

arxiv url: http://arxiv.org/abs/2609.01627v1
Date: Fri, 07 Aug 2026 08:49:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-06 19:38:41.479643
Title: The Utility of LLMs in Recommender Systems Explanation Evaluation
Title（参考訳）: レコメンダシステム説明評価におけるLCMの有用性
Abstract要約: 本稿では,大規模言語モデル(LLM)の有用性について検討する。以上の結果から, LLMは人型評価パターンを示し, 適度なランク相関が得られたが, 絶対評価基準は低く, モデルサイズや評価構成によって大きく異なることが明らかとなった。
参考スコア（独自算出の注目度）: 7.84254162028376
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Explanations play a crucial role in creating trustworthy recommender systems (RS), yet choosing a good explanation method presents challenges. Many explanation methods exist, but little guidance exists on which is best for which setting. Existing explanation generation methods often produce abstract outputs that require further formatting to become user-friendly, with a seemingly endless pool of options. Running user-based evaluations of all possible options is usually unfeasible, while automated evaluation metrics often either assess only the explainer's abstract output or require comparison with a ground truth, which is generally unavailable. Recent studies have shown that large language models (LLMs) can serve as ``judges'' for explanation evaluation, but their reliability has not yet been thoroughly explored. This paper studies the utility of LLMs in selecting an effective explanation method for a given application. We first explore their ability to generate explanation prototypes given varying information about the RS and the user. Specifically, we generate 18 distinct explanation prototypes, which are subsequently evaluated by 14 LLMs of varying sizes across two temperature settings. We compare these against human ratings derived from a user study. Our results show that while LLMs exhibit human-like rating patterns and achieve moderate rank correlation with human raters, their absolute rating agreement is low and varies substantially by model size and evaluation construct. We derive four practical recommendations: keep explanation-generation prompts concise, prefer larger models for evaluation, pre-test evaluation constructs, and audit explanations for factual accuracy, as neither humans nor LLMs reliably detect non-factual content.
Abstract（参考訳）: 説明は、信頼できる推薦システム(RS)を作成する上で重要な役割を担いますが、優れた説明方法を選択することは課題を提示します。多くの説明法が存在するが、どの設定に最も適しているかについてのガイダンスはほとんどない。既存の説明生成手法は、ユーザフレンドリになるためにさらなるフォーマットを必要とする抽象的な出力を生成することが多い。自動化された評価基準は、説明者の抽象的なアウトプットのみを評価するか、一般的には利用できない基礎的な真実との比較を必要とすることが多い。近年の研究では、大きな言語モデル(LLM)が説明的評価のために 'judges' として機能することが示されているが、その信頼性はまだ十分に調査されていない。本稿では, LLM の有効利用法として, LLM の有効性について検討する。まず、RSとユーザについて様々な情報を得た説明プロトタイプを作成する能力について検討する。具体的には、18個の異なる説明プロトタイプを生成し、その後、2つの温度設定の異なる14個のLLMで評価する。ユーザスタディから得られた人間格付けと比較する。以上の結果から, LLMは人型評価パターンを示し, 適度なランク相関が得られたが, 絶対評価基準は低く, モデルサイズや評価構成によって大きく異なることが明らかとなった。説明生成を簡潔に保つこと、評価のためのより大きなモデルを好むこと、テスト前構成を優先すること、事実の正確性を評価すること、そして人間もLLMも確実に非事実の内容を検出できないこと、の4つの実践的勧告を導出する。

関連論文リスト

MADREC: A Multi-Aspect Driven LLM Agent for Explainable and Adaptive Recommendation [11.430206422495829]
マルチアスペクト駆動型LLMエージェントMADRecは、レビューからマルチアスペクト情報の教師なし抽出によってユーザとアイテムのプロファイルを構築する自動レコメンデータである。 MADRecはアスペクトカテゴリに基づく要約を通じて構造化プロファイルを生成し、高密度入力を構築するためにRe-Rankingを適用する。複数の領域にわたる実験により、MADRecは従来のLCMベースのベースラインよりも精度と説明可能性の両方で優れていることが示された。
論文参考訳（メタデータ） (2025-10-15T10:03:29Z)
From latent factors to language: a user study on LLM-generated explanations for an inherently interpretable matrix-based recommender system [8.280161440212504]
大規模言語モデル(LLM)が数学的に解釈可能なレコメンデーションモデルから,効果的なユーザ向け説明を生成できるかどうかを検討する。本研究は,5次元にわたる説明の質を評価する326人の被験者を対象に実施した。分析の結果、全ての説明型は概ね好意的であり、戦略間の統計的差異は緩やかであることがわかった。
論文参考訳（メタデータ） (2025-09-23T13:30:03Z)
Revisiting Prompt Engineering: A Comprehensive Evaluation for LLM-based Personalized Recommendation [2.3650193864974978]
大規模言語モデル(LLM)は、自然言語で書かれたプロンプトを入力として取り込むことで推奨タスクを実行することができる。本稿では,他のユーザからの情報を一切使用しない単一ユーザ設定に焦点をあてる。
論文参考訳（メタデータ） (2025-07-17T20:26:00Z)
Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文参考訳（メタデータ） (2024-06-28T20:06:30Z)
SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文参考訳（メタデータ） (2024-06-20T17:56:07Z)
Aligning Language Models with Demonstrated Feedback [58.834937450242975]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文参考訳（メタデータ） (2024-06-02T23:13:56Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity [3.3162484539136416]
本稿では,SemScoreと呼ばれる簡易な評価尺度を提案する。意味的テキスト類似度(STS)を用いたモデル出力とゴールドターゲット応答の比較提案したSemScore測定基準は,人間の評価と相関する点において,より複雑な評価指標よりも優れていることが判明した。
論文参考訳（メタデータ） (2024-01-30T14:52:50Z)
Unlocking the Potential of Large Language Models for Explainable Recommendations [55.29843710657637]
説明ジェネレータを最近登場した大規模言語モデル(LLM)に置き換える影響は、まだ不明である。本研究では,シンプルで効果的な2段階説明可能なレコメンデーションフレームワークであるLLMXRecを提案する。いくつかの重要な微調整技術を採用することで、制御可能で流動的な説明が十分に生成できる。
論文参考訳（メタデータ） (2023-12-25T09:09:54Z)
InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
論文参考訳（メタデータ） (2023-11-20T07:06:31Z)
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
論文参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。