論文の概要: Identifying Key Terms in Prompts for Relevance Evaluation with GPT Models

• arxiv url: http://arxiv.org/abs/2405.06931v1
• Date: Sat, 11 May 2024 06:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:30:29.324404
• Title: Identifying Key Terms in Prompts for Relevance Evaluation with GPT Models
• Title（参考訳）: GPTモデルによる関連性評価のためのプロンプトにおけるキーワードの同定
• Authors: Jaekeol Choi,
• Abstract要約: 本研究の目的は,大規模言語モデルを用いて,どの特定の用語が肯定的あるいは否定的に関連性評価に影響を及ぼすかを明らかにすることである。 これらのプロンプトの性能を、少数ショットとゼロショットの両方の設定で比較することにより、プロンプトにおける特定の用語の影響を分析する。
• 参考スコア（独自算出の注目度）: 1.1965844936801802
• License:
• Abstract: Relevance evaluation of a query and a passage is essential in Information Retrieval (IR). Recently, numerous studies have been conducted on tasks related to relevance judgment using Large Language Models (LLMs) such as GPT-4, demonstrating significant improvements. However, the efficacy of LLMs is considerably influenced by the design of the prompt. The purpose of this paper is to identify which specific terms in prompts positively or negatively impact relevance evaluation with LLMs. We employed two types of prompts: those used in previous research and generated automatically by LLMs. By comparing the performance of these prompts in both few-shot and zero-shot settings, we analyze the influence of specific terms in the prompts. We have observed two main findings from our study. First, we discovered that prompts using the term answerlead to more effective relevance evaluations than those using relevant. This indicates that a more direct approach, focusing on answering the query, tends to enhance performance. Second, we noted the importance of appropriately balancing the scope of relevance. While the term relevant can extend the scope too broadly, resulting in less precise evaluations, an optimal balance in defining relevance is crucial for accurate assessments. The inclusion of few-shot examples helps in more precisely defining this balance. By providing clearer contexts for the term relevance, few-shot examples contribute to refine relevance criteria. In conclusion, our study highlights the significance of carefully selecting terms in prompts for relevance evaluation with LLMs.
• Abstract（参考訳）: クエリとパスの関連性評価は、情報検索(IR)において不可欠である。 近年, GPT-4 などの大規模言語モデル (LLM) を用いて, 関連判断に関わる課題について多くの研究が行われ, 大幅な改善が示されている。 しかし, LLMsの有効性はプロンプトの設計に大きく影響されている。 本研究の目的は,LLMを用いた評価において,どの特定の用語が肯定的あるいは否定的に影響を及ぼすかを明らかにすることである。 従来の研究で用いたプロンプトとLLMによる自動生成の2種類のプロンプトを用いた。 これらのプロンプトの性能を、少数ショットとゼロショットの両方の設定で比較することにより、プロンプトにおける特定の用語の影響を分析する。 我々は本研究から2つの主要な所見を観察した。 まず, 「回答」という用語が, 関連するものよりも, より効果的な関連性評価に結びつくことを発見した。 これは、クエリの回答に重点を置くより直接的なアプローチが、パフォーマンスを向上させる傾向があることを示している。 第2に、関係性の範囲を適切にバランスさせることの重要性について言及した。 関連する用語は範囲を広範に拡張し、精度の低い評価をもたらすが、関連性を定義するための最適なバランスは、正確な評価には不可欠である。 わずかな例を含むことは、このバランスをより正確に定義するのに役立ちます。 用語の関連性についてより明確なコンテキストを提供することによって、いくつかの例が関連性基準の洗練に寄与する。 結論として,本研究は,LLMによる関連性評価の促しとして,用語の選択を慎重に行うことの重要性を強調した。

関連論文リスト

• LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation [28.61326111959728]
  大規模言語モデル(LLM)は評価タスク、特に優先的に評価し、自己生成したコンテンツを好む場合に重大なバイアスを示す。 本研究では,この知識ギャップを,検索強化世代(RAG)フレームワークの2つの重要なフェーズをシミュレートすることによって解決する。 以上の結果とは対照的に,RAGフレームワークに有意な自己選好効果は認められなかった。
  論文  参考訳（メタデータ） (2024-10-28T08:32:09Z)
• Best in Tau@LLMJudge: Criteria-Based Relevance Evaluation with Llama3 [5.478764356647438]
  そこで本稿では,大規模言語モデル (LLM) を付加する代替手法を提案する。 基準レベルのグレードを関連ラベルに集約する様々な方法を検討する。 2024年夏に発生した LLMJudge Challenge のデータをもとに,我々のアプローチを実証的に評価する。
  論文  参考訳（メタデータ） (2024-10-17T21:37:08Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
  ユーティリティとトピック関連性は、情報検索において重要な手段である。 本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
  論文  参考訳（メタデータ） (2024-06-17T07:52:42Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Mutual Information Maximization for Effective Lip Reading [99.11600901751673]
  本稿では,局所的特徴レベルとグローバルなシーケンスレベルの両方について,相互情報制約を導入することを提案する。 これら2つの利点を組み合わせることで, 有効な唇読解法として, 識別性と頑健性の両方が期待できる。
  論文  参考訳（メタデータ） (2020-03-13T18:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。