論文の概要: Validating LLM-Generated Relevance Labels for Educational Resource Search

• arxiv url: http://arxiv.org/abs/2504.12732v1
• Date: Thu, 17 Apr 2025 08:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:35:01.128048
• Title: Validating LLM-Generated Relevance Labels for Educational Resource Search
• Title（参考訳）: 教育資源探索のためのLLM生成関連ラベルの検証
• Authors: Ratan J. Sebastian, Anett Hoppe,
• Abstract要約: 本研究は,教師が授業計画に関連する検索タスクを実行することを含むユーザスタディから,401人の人間関係判断データセットを作成した。 ドメイン固有のフレームワークを使用して、LLMは人間の判断と強く一致した。 システムレベル評価の結果,LLM判定は高い性能の検索手法を確実に同定した。
• 参考スコア（独自算出の注目度）: 2.2175950967382487
• License:
• Abstract: Manual relevance judgements in Information Retrieval are costly and require expertise, driving interest in using Large Language Models (LLMs) for automatic assessment. While LLMs have shown promise in general web search scenarios, their effectiveness for evaluating domain-specific search results, such as educational resources, remains unexplored. To investigate different ways of including domain-specific criteria in LLM prompts for relevance judgement, we collected and released a dataset of 401 human relevance judgements from a user study involving teaching professionals performing search tasks related to lesson planning. We compared three approaches to structuring these prompts: a simple two-aspect evaluation baseline from prior work on using LLMs as relevance judges, a comprehensive 12-dimensional rubric derived from educational literature, and criteria directly informed by the study participants. Using domain-specific frameworks, LLMs achieved strong agreement with human judgements (Cohen's $\kappa$ up to 0.650), significantly outperforming the baseline approach. The participant-derived framework proved particularly robust, with GPT-3.5 achieving $\kappa$ scores of 0.639 and 0.613 for 10-dimension and 5-dimension versions respectively. System-level evaluation showed that LLM judgements reliably identified top-performing retrieval approaches (RBO scores 0.71-0.76) while maintaining reasonable discrimination between systems (RBO 0.52-0.56). These findings suggest that LLMs can effectively evaluate educational resources when prompted with domain-specific criteria, though performance varies with framework complexity and input structure.
• Abstract（参考訳）: 情報検索における手動の関連性判断は費用がかかり、専門知識が必要であり、自動評価にLLM(Large Language Models)を使用することへの関心を喚起する。 LLMは一般的なWeb検索のシナリオにおいて有望であるが、教育資源などドメイン固有の検索結果を評価するための有効性は未解明のままである。 LLMプロンプトにドメイン固有の基準を組み込んで関連性判断を行うために,本研究では,授業計画に関連する探索課題を専門職に教えるユーザスタディから,401人の関連性判定データセットを収集,公開した。 本研究は,LLMを関連審査員として使用するための先行研究から得られた簡易な2視点評価基準,教育文献から派生した総合的な12次元ルーブリック,研究参加者から直接の情報を得た基準,の3つの手法を比較した。 ドメイン固有のフレームワークを使用して、LLMは人間の判断(コーエンの$\kappa$から0.650まで)と強い合意を達成し、ベースラインアプローチを著しく上回った。 GPT-3.5は10次元と5次元のそれぞれ0.639と0.613のスコアを得た。 システムレベルの評価では、LLM判定は、システム間の適切な識別を維持しつつ、トップパフォーマンス検索アプローチ(RBOスコア0.71-0.76)を確実に特定している。 これらの結果から, LLMは, フレームワークの複雑さや入力構造によって異なるが, ドメイン固有の基準で学習資源を効果的に評価できることが示唆された。

関連論文リスト

• Value Compass Leaderboard: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は目覚ましいブレークスルーを達成し、その価値を人間と一致させることが必須になっている。 既存の評価は、バイアスや毒性といった安全性のリスクに焦点を絞っている。 既存のベンチマークはデータ汚染の傾向があります。 個人や文化にまたがる人的価値の多元的性質は、LLM値アライメントの測定において無視される。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Which is better? Exploring Prompting Strategy For LLM-based Metrics [6.681126871165601]
  本稿では,DSBA が提案する Prompting Large Language Models を Explainable Metrics 共有タスクとして記述する。 BLEUやROUGEのような従来の類似性に基づくメトリクスは、人間の評価に悪影響を与えており、オープンな生成タスクには適していない。
  論文  参考訳（メタデータ） (2023-11-07T06:36:39Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。