論文の概要: Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking

• arxiv url: http://arxiv.org/abs/2610.23346v1
• Date: Fri, 16 Oct 2026 11:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.908969
• Title: Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
• Title（参考訳）: Jev-as-a-Judge for Brazil Portuguese Information Retrieval: Relevance Assessment and Re rank
• Abstract要約: Jev-as-a-judge を用いてブラジルの 4 つの IR コレクションの関連判断を生成する。 関連性評価では、正確な合意は52.9%から64.9%で、コーエンのカッパの重み付けは0.52から0.82だった。 Jev は 50 Quati テストクエリでトップ1,000の BM25 候補を再発注し、nDCG@10 を 0.3329 から 0.6331 (+90.2%) に、MRR を 0.6852 から 0.9033 (+31.8%) に増やした。
• 参考スコア（独自算出の注目度）: 2.057923791344642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates Jev, a System One model designed for fast, structured decision-making, in information retrieval. We use Jev-as-a-judge to generate relevance judgments for four Brazilian Portuguese IR collections covering different domains and compare them with the official relevance judgments of each collection. We also evaluate Jev as a reranker. For relevance assessment, exact agreement ranged from 52.9% to 64.9%, while quadratic weighted Cohen's kappa ranged from 0.52 to 0.82. Most disagreements involved adjacent relevance levels, with at least 94.5% of annotations matching exactly or differing by only one relevance level. Despite differences at the individual query--document level, Jev-generated qrels produced similar retrieval system rankings, with Kendall's tau ranging from 0.90 to 0.93 for NormasTCU and Ulysses-RFCorpus across the two evaluation metrics. For reranking, Jev reordered the top 1,000 BM25 candidates for each of the 50 Quati test queries, increasing nDCG@10 from 0.3329 to 0.6331 (+90.2%) and MRR from 0.6852 to 0.9033 (+31.8%). These findings support Jev as a relevance assessor and show improved ranking effectiveness over BM25 in the evaluated reranking setting.
• Abstract（参考訳）: 本研究では,情報検索において,高速かつ構造化された意思決定を目的としたシステム1モデルであるJevについて検討する。 我々はJev-as-a-judgeを用いて、ブラジルの4つのポルトガルのIRコレクションの関連判断を生成し、それらを各コレクションの公式な関連判断と比較する。 また、私たちはJevをリランカとして評価しています。 関連性評価では、正確な合意は52.9%から64.9%で、コーエンのカッパの重み付けは0.52から0.82だった。 ほとんどの意見の相違は隣接する関連レベルに関係しており、少なくとも94.5%のアノテーションは1つの関連レベルによって正確に一致するか異なる。 個々のクエリードキュメントレベルでの違いにもかかわらず、Jev生成のqrelsは類似した検索システムランキングを作成し、KendallのtauはNormasTCUとUlysses-RFCorpusで0.90から0.93の範囲で評価された。 Jev は 50 Quati テストクエリでトップ1,000の BM25 候補を再発注し、nDCG@10 を 0.3329 から 0.6331 (+90.2%) に、MRR を 0.6852 から 0.9033 (+31.8%) に増やした。 これらの知見は,Jevを妥当性評価器としてサポートし,信頼性評価設定におけるBM25よりも優れたランキングの有効性を示した。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Annotated Surrogate Retrieval for Polish Statutory Law [0.0]
  本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。 ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。 2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
  論文  参考訳（メタデータ） (2026-08-31T15:05:00Z)
• NormasTCU --- A Brazilian Portuguese IR Dataset and an Evaluation of LLM-as-a-Judge for Relevance Assessment [0.6501025489527175]
  ポルトガル情報検索(IR)は、公開データセットが欠落しており、特別なコレクションの関連性評価はコストがかかるままである。 ブラジルのIRデータセットであるNomasTCUを紹介し,14,469件の法的文書,46件のクエリ,3,048件の人的判断を行った。 NormasTCUを用いて,Large Language Models (LLMs) の評価を行った。
  論文  参考訳（メタデータ） (2026-08-27T22:14:00Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• Reliability without Validity: A Systematic, Large-Scale Evaluation of LLM-as-a-Judge Models Across Agreement, Consistency, and Bias [0.0]
  実際に判断の検証は、偶然を正さず、系統的に差別能力を過度に過大評価する、正確な一致の合意に依存している。 MT-Bench, judgeBench, RewardBenchの9つのプロバイダから21人の審査員が, 118ラン以上の3つのプロトコル(アグリメント, 一貫性, バイアス監査)と約541,000の個人判定で評価された。
  論文  参考訳（メタデータ） (2026-06-17T19:37:13Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Better than Random: Reliable NLG Human Evaluation with Constrained Active Sampling [50.08315607506652]
  信頼性の高い人的判断のための制約付きアクティブサンプリングフレームワーク(CASF)を提案する。 実験の結果、CASFは93.18%のシステム認識精度が得られた。
  論文  参考訳（メタデータ） (2024-06-12T07:44:36Z)
• LLMs Can Patch Up Missing Relevance Judgments in Evaluation [56.51461892988846]
  我々は、大きな言語モデル(LLM)を使って、不確定な文書を自動的にラベル付けします。 TREC DLトラックの関連性判定から関連文書をランダムにドロップすることで,穴の度合いの異なるシナリオをシミュレートする。 Vicuna-7B と GPT-3.5 Turbo の平均値に対して,Kendall tau の0.87 と 0.92 の相関式が得られた。
  論文  参考訳（メタデータ） (2024-05-08T00:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。