論文の概要: Don't Use LLMs to Make Relevance Judgments

• arxiv url: http://arxiv.org/abs/2409.15133v1
• Date: Mon, 23 Sep 2024 15:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 14:58:10.476063
• Title: Don't Use LLMs to Make Relevance Judgments
• Title（参考訳）: 関連判断にLLMを使用してはいけない
• Authors: Ian Soboroff,
• Abstract要約: 最近の大きな言語モデルの出現は、自然言語のプロンプトに反応して、驚くべきほど人間らしく流れるテキストを生成することで、IR研究者は、それらのモデルが関連判断の収集プロセスでどのように使われるのか疑問に思うようになった。 ACM SIGIR 2024 カンファレンスでは,ワークショップ LLM4Eval' が,この作業の場を提供し,TREC 深層学習トラックの判断を再現するデータチャレンジ活動を開催した。 ボトムアップフロントのメッセージは、TRECスタイルの評価のための関連判断を作成するためにLLMを使用しないことです。
• 参考スコア（独自算出の注目度）: 5.678164657239931
• License:
• Abstract: Making the relevance judgments for a TREC-style test collection can be complex and expensive. A typical TREC track usually involves a team of six contractors working for 2-4 weeks. Those contractors need to be trained and monitored. Software has to be written to support recording relevance judgments correctly and efficiently. The recent advent of large language models that produce astoundingly human-like flowing text output in response to a natural language prompt has inspired IR researchers to wonder how those models might be used in the relevance judgment collection process. At the ACM SIGIR 2024 conference, a workshop ``LLM4Eval'' provided a venue for this work, and featured a data challenge activity where participants reproduced TREC deep learning track judgments, as was done by Thomas et al (arXiv:2408.08896, arXiv:2309.10621). I was asked to give a keynote at the workshop, and this paper presents that keynote in article form. The bottom-line-up-front message is, don't use LLMs to create relevance judgments for TREC-style evaluations.
• Abstract（参考訳）: TRECスタイルのテストコレクションの関連判断を複雑かつ高価にすることができる。 典型的なTRECトラックは通常、6人の請負業者のチームが2～4週間働く。 これらの請負業者は訓練され、監視される必要がある。 関連性判断を正確かつ効率的に記録するためのソフトウェアを書かなければならない。 最近の大きな言語モデルの出現は、自然言語のプロンプトに反応して、驚くべきほど人間らしく流れるテキストを生成することで、IR研究者は、それらのモデルが関連判断の収集プロセスでどのように使われるのか疑問に思うようになった。 ACM SIGIR 2024カンファレンスでは,ワークショップ ‘LLM4Eval' がこの作業の場を提供し,Thomasらが行ったように,TRECディープラーニングトラックの判断(arXiv:2408.08896, arXiv:2309.10621)を参加者が再現するデータチャレンジアクティビティを特徴とした。 ワークショップで基調講演をするように頼まれましたが、この記事ではその基調講演を記事形式で紹介します。 ボトムアップフロントのメッセージは、TRECスタイルの評価のための関連判断を作成するためにLLMを使用しないことです。

関連論文リスト

• Rewriting Conversational Utterances with Instructed Large Language Models [9.38751103209178]
  大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成することができる。 本稿では,最高の検索性能をもたらす最も情報に富んだ発話を提示する手法について検討する。 その結果、LLMによる会話音声の書き直しは、MRRで25.2%、Precision@1で31.7%、NDCG@3で27%、Recall@500で11.5%の大幅な改善が達成された。
  論文  参考訳（メタデータ） (2024-10-10T10:30:28Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models [5.0490573482829335]
  大規模言語モデル(LLM)は、さまざまなゼロショット機能を備えた多種多様な自然言語処理タスクに革命をもたらしている。 本稿では、情報検索(IR)における通過前の事前フィルタリングステップの使用について検討する。 実験の結果, この事前フィルタリングにより, LLMは再ランクタスクにおいて, 性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T20:12:24Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Can We Use Large Language Models to Fill Relevance Judgment Holes? [9.208308067952155]
  ホールを埋めるためにLarge Language Models(LLM)を利用することで、既存のテストコレクションを拡張するための最初のステップを取ります。 人間+自動判断を用いた場合, 相関関係は著しく低くなる。
  論文  参考訳（メタデータ） (2024-05-09T07:39:19Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks [12.723777984461693]
  大型言語モデル(LLM)は注目すべきデータアノテータである。 クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。 作業完了時には,33～46%がLLMを使用していた。
  論文  参考訳（メタデータ） (2023-06-13T16:46:24Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。