論文の概要: Leveraging LLMs to Evaluate Usefulness of Document

• arxiv url: http://arxiv.org/abs/2506.08626v2
• Date: Wed, 11 Jun 2025 03:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 02:07:43.347018
• Title: Leveraging LLMs to Evaluate Usefulness of Document
• Title（参考訳）: LLMの活用による文書の有用性評価
• Authors: Xingzhu Wang, Erhan Zhang, Yiqun Chen, Jinghan Xuan, Yucheng Hou, Yitong Xu, Ying Nie, Shuaiqiang Wang, Dawei Yin, Jiaxin Mao,
• Abstract要約: 本稿では,ユーザの検索コンテキストと行動データを大規模言語モデルに統合する,新たなユーザ中心評価フレームワークを提案する。 本研究は,文脈情報や行動情報に精通したLLMが有用性を正確に評価できることを実証する。 また,本手法で作成したラベルをユーザ満足度予測に適用し,実世界の実験により,これらのラベルが満足度予測モデルの性能を大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 25.976948104719746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The conventional Cranfield paradigm struggles to effectively capture user satisfaction due to its weak correlation between relevance and satisfaction, alongside the high costs of relevance annotation in building test collections. To tackle these issues, our research explores the potential of leveraging large language models (LLMs) to generate multilevel usefulness labels for evaluation. We introduce a new user-centric evaluation framework that integrates users' search context and behavioral data into LLMs. This framework uses a cascading judgment structure designed for multilevel usefulness assessments, drawing inspiration from ordinal regression techniques. Our study demonstrates that when well-guided with context and behavioral information, LLMs can accurately evaluate usefulness, allowing our approach to surpass third-party labeling methods. Furthermore, we conduct ablation studies to investigate the influence of key components within the framework. We also apply the labels produced by our method to predict user satisfaction, with real-world experiments indicating that these labels substantially improve the performance of satisfaction prediction models.
• Abstract（参考訳）: 従来のクランフィールドパラダイムは、テストコレクション構築における関連アノテーションの高コストに加えて、妥当性と満足度の間に弱い相関関係があるため、ユーザ満足度を効果的に捉えるのに苦労している。 これらの課題に対処するために,我々は,大規模言語モデル(LLM)を活用して多レベル有用性ラベルを生成する可能性について検討した。 ユーザの検索コンテキストと行動データをLLMに統合する新しいユーザ中心評価フレームワークを提案する。 このフレームワークは、多レベル有用性評価のために設計されたカスケード判断構造を使用しており、順序回帰技術からインスピレーションを得ている。 我々の研究は、文脈情報や行動情報に精通している場合、LLMは有用性を正確に評価し、サードパーティのラベル付け手法を超えることができることを示した。 さらに,本フレームワークにおけるキーコンポーネントの影響について,アブレーション研究を行った。 また,本手法で作成したラベルをユーザ満足度予測に適用し,実世界の実験により,これらのラベルが満足度予測モデルの性能を大幅に向上することを示した。

関連論文リスト

• LLM-Driven Usefulness Judgment for Web Search Evaluation [12.10711284043516]
  情報検索(IR)における検索体験の最適化と多種多様なユーザ意図支援の基礎的評価 従来の検索評価手法は主に関連ラベルに依存しており、検索された文書がユーザのクエリとどのようにマッチするかを評価する。 本稿では,文書の有用性を評価するために,暗黙的かつ明示的なユーザ行動信号の両方を組み込んだLCM生成実用性ラベルを提案する。
  論文  参考訳（メタデータ） (2025-04-19T20:38:09Z)
• Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
  本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。 Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。 メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
  論文  参考訳（メタデータ） (2025-02-05T08:35:55Z)
• Towards More Effective Table-to-Text Generation: Assessing In-Context Learning and Self-Evaluation with Open-Source Models [0.0]
  本研究では,ベンチマークデータセット間の言語モデル(LM)における様々なコンテキスト内学習戦略の有効性について検討する。 我々は、チェーンオブ思考推論を用いた大規模言語モデル(LLM)の自己評価アプローチを採用し、BERTScoreのような人力対応メトリクスとの相関性を評価する。 本研究はテーブル・ツー・テキスト・ジェネレーションの改善における実例の顕著な影響を浮き彫りにし, LLM の自己評価には可能性があるが, 人間の判断と現在の整合性は向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-15T09:19:42Z)
• Improving the Validity and Practical Usefulness of AI/ML Evaluations Using an Estimands Framework [2.4861619769660637]
  本稿では,国際臨床治験ガイドラインを応用した評価フレームワークを提案する。 このフレームワークは、評価の推測と報告のための体系的な構造を提供する。 我々は、このフレームワークが根底にある問題、その原因、潜在的な解決策を明らかにするのにどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T18:47:37Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。