論文の概要: Best in Tau@LLMJudge: Criteria-Based Relevance Evaluation with Llama3

• arxiv url: http://arxiv.org/abs/2410.14044v1
• Date: Thu, 17 Oct 2024 21:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:35.054079
• Title: Best in Tau@LLMJudge: Criteria-Based Relevance Evaluation with Llama3
• Title（参考訳）: Tau@LLMJudgeのベスト - Llama3による基準に基づく関連性評価
• Authors: Naghmeh Farzi, Laura Dietz,
• Abstract要約: そこで本稿では,大規模言語モデル (LLM) を付加する代替手法を提案する。 基準レベルのグレードを関連ラベルに集約する様々な方法を検討する。 2024年夏に発生した LLMJudge Challenge のデータをもとに,我々のアプローチを実証的に評価する。
• 参考スコア（独自算出の注目度）: 5.478764356647438
• License:
• Abstract: Traditional evaluation of information retrieval (IR) systems relies on human-annotated relevance labels, which can be both biased and costly at scale. In this context, large language models (LLMs) offer an alternative by allowing us to directly prompt them to assign relevance labels for passages associated with each query. In this study, we explore alternative methods to directly prompt LLMs for assigned relevance labels, by exploring two hypotheses: Hypothesis 1 assumes that it is helpful to break down "relevance" into specific criteria - exactness, coverage, topicality, and contextual fit. We explore different approaches that prompt large language models (LLMs) to obtain criteria-level grades for all passages, and we consider various ways to aggregate criteria-level grades into a relevance label. Hypothesis 2 assumes that differences in linguistic style between queries and passages may negatively impact the automatic relevance label prediction. We explore whether improvements can be achieved by first synthesizing a summary of the passage in the linguistic style of a query, and then using this summary in place of the passage to assess its relevance. We include an empirical evaluation of our approaches based on data from the LLMJudge challenge run in Summer 2024, where our "Four Prompts" approach obtained the highest scores in Kendall's tau.
• Abstract（参考訳）: 従来の情報検索 (IR) システムの評価は、人間にアノテートされた関連ラベルに依存している。 このコンテキストでは、大きな言語モデル(LLM)が、クエリ毎に関連付けされたパスの関連ラベルを直接割り当てるように、直接指示することで、代替手段を提供します。 仮説1は「関連性」を特定の基準(正確性、包括性、話題性、文脈適合性)に分解するのに役立つと仮定する。 我々は,大言語モデル (LLM) に対して,すべての節の基準レベルグレードを得るための様々なアプローチを検討し,基準レベルグレードを関連ラベルに集約する様々な方法を検討する。 仮説2は、クエリとパスの言語的スタイルの違いが自動関連ラベル予測に悪影響を及ぼすと仮定する。 本稿では、まず、クエリの言語スタイルの文節の要約を合成し、その文節の代わりにこの要約を用いてその関連性を評価することにより、改善が達成できるかどうかを考察する。 2024年夏に行われた LLMJudge Challenge のデータをもとに,我々のアプローチを実証的に評価し,Kendall's tau の最高スコアを得た。

関連論文リスト

• Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
  本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。 重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。 我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
  論文  参考訳（メタデータ） (2024-06-11T06:53:19Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• GaussianMLR: Learning Implicit Class Significance via Calibrated Multi-Label Ranking [0.0]
  本稿では,ガウスMLRという新しい多ラベルランキング手法を提案する。 これは、正のラベルのランクを決定する暗黙のクラス重要性の値を学ぶことを目的としている。 提案手法は, 組み込まれた正のランク順の表現を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T14:09:08Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Towards Human-Centred Explainability Benchmarks For Text Classification [4.393754160527062]
  本稿では,テキスト分類の妥当性を評価するために,テキスト分類ベンチマークを拡張することを提案する。 有効な説明を行う能力について客観的に評価する上での課題について検討する。 我々は、これらのベンチマークを人間中心のアプリケーションに基礎を置くことを提案する。
  論文  参考訳（メタデータ） (2022-11-10T09:52:31Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。