Fugu-MT 論文翻訳(概要): RAIR: A Rule-Aware Benchmark Uniting Challenging Long-Tail and Visual Salience Subset for E-commerce Relevance Assessment

論文の概要: RAIR: A Rule-Aware Benchmark Uniting Challenging Long-Tail and Visual Salience Subset for E-commerce Relevance Assessment

arxiv url: http://arxiv.org/abs/2512.24943v1
Date: Wed, 31 Dec 2025 16:09:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-01 23:27:28.700002
Title: RAIR: A Rule-Aware Benchmark Uniting Challenging Long-Tail and Visual Salience Subset for E-commerce Relevance Assessment
Title（参考訳）: RAIR:Eコマース関連性評価のためのロングテールとビジュアルサリエンスのサブセットを満たすルール対応ベンチマーク
Authors: Chenji Lu, Zhuo Chen, Hui Zhao, Zhenyi Wang, Pengjie Wang, Jian Xu, Bo Zheng,
Abstract要約: 実世界のシナリオから派生した中国語データセットであるイメージ・フォー・レバレンス・アセスメント(RAIR)を用いたルール・アウェア・ベンチマークを提案する。 RAIRは、関連性評価のための標準化されたフレームワークを確立し、標準化された評価の基礎となる普遍的なルールのセットを提供する。我々は14のオープンソースモデルとクローズドソースモデルを用いてRAIR実験を行った。
参考スコア（独自算出の注目度）: 26.73200625292998
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Search relevance plays a central role in web e-commerce. While large language models (LLMs) have shown significant results on relevance task, existing benchmarks lack sufficient complexity for comprehensive model assessment, resulting in an absence of standardized relevance evaluation metrics across the industry. To address this limitation, we propose Rule-Aware benchmark with Image for Relevance assessment(RAIR), a Chinese dataset derived from real-world scenarios. RAIR established a standardized framework for relevance assessment and provides a set of universal rules, which forms the foundation for standardized evaluation. Additionally, RAIR analyzes essential capabilities required for current relevance models and introduces a comprehensive dataset consists of three subset: (1) a general subset with industry-balanced sampling to evaluate fundamental model competencies; (2) a long-tail hard subset focus on challenging cases to assess performance limits; (3) a visual salience subset for evaluating multimodal understanding capabilities. We conducted experiments on RAIR using 14 open and closed-source models. The results demonstrate that RAIR presents sufficient challenges even for GPT-5, which achieved the best performance. RAIR data are now available, serving as an industry benchmark for relevance assessment while providing new insights into general LLM and Visual Language Model(VLM) evaluation.
Abstract（参考訳）: 検索関連性はウェブ電子商取引において中心的な役割を果たす。大規模言語モデル(LLM)は、関連タスクにおいて顕著な結果を示しているが、既存のベンチマークでは包括的なモデル評価に十分な複雑さが欠けており、業界全体で標準化された関連性評価指標が欠如している。この制限に対処するため,実世界のシナリオから派生した中国語データセットである Image for Relevance Assessment (RAIR) を用いたルール・アウェア・ベンチマークを提案する。 RAIRは、関連性評価のための標準化されたフレームワークを確立し、標準化された評価の基礎となる普遍的なルールのセットを提供する。さらに、RAIRは、現在の妥当性モデルに必要な必須機能を分析し、(1)基本的なモデル能力を評価するための産業均衡サンプリングの一般的なサブセット、(2)パフォーマンス限界を評価するための挑戦的なケースに焦点を当てた長期ハードサブセット、(3)マルチモーダル理解能力を評価するための視覚的サリエンスサブセットの3つのサブセットからなる包括的なデータセットを導入する。我々は14のオープンソースモデルとクローズドソースモデルを用いてRAIR実験を行った。その結果, RAIR は GPT-5 に対してさえ十分な課題を示し, 最高の性能を達成できた。 RAIRデータは現在利用可能であり、関連性評価の業界ベンチマークとして機能し、一般的なLLMおよびVisual Language Model(VLM)評価に関する新たな洞察を提供する。

関連論文リスト

RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks [33.68425991692674]
リージョンインデックス(RCI)は、データセットがグローバルとローカルの視覚情報に依存することを定量化する最初のモデルベースのスコアである。 RCIを広く使用されている13のマルチモーダルベンチマークに適用すると,そのほとんどは局所的推論を好んでいることがわかった。
論文参考訳（メタデータ） (2025-09-28T06:26:11Z)
CodeFuse-CR-Bench: A Comprehensiveness-aware Benchmark for End-to-End Code Review Evaluation in Python Projects [23.9752442213364]
CodeFuse-CR-Benchは、リポジトリレベルのCR評価のための、最初の包括性対応ベンチマークである。 CodeFuse-CR-Benchは、9つのプルリクエスト(PR)問題ドメインをカバーする70のPythonプロジェクトから601の高品質なインスタンスで構成されている。本稿では,この包括的CR課題に対して,最先端の大規模言語モデル(LLM)の大規模評価を行う。
論文参考訳（メタデータ） (2025-09-18T11:24:09Z)
Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
論文参考訳（メタデータ） (2025-09-03T15:48:33Z)
ContextASR-Bench: A Massive Contextual Speech Recognition Benchmark [28.28891500803133]
自動音声認識システムの言語能力を評価するためにContextASR-Benchを提案する。最大4万のデータエントリを含み、10ドメインに30万以上の名前付きエンティティがある。 LALMは、LLMの強い世界知識とコンテキストモデリングのおかげで、従来のASRモデルよりも大きなマージンで優れていた。
論文参考訳（メタデータ） (2025-07-08T07:21:20Z)
Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings [36.449658676568234]
大規模言語モデル(LLM)-as-judgeパラダイムは、モデル出力の安価で信頼性の高い高速な評価要求を満たすために使われてきた。実世界の文脈評価シナリオにインスパイアされた8つの分割に対して2,000の挑戦的な応答対を持つ判定ベンチマークであるContextualJudgeBenchを提案する。我々の総合的研究は、文脈情報とその評価基準が最先端モデルにおいても重要な課題であることを示している。
論文参考訳（メタデータ） (2025-03-19T18:09:19Z)
Benchmarking community drug response prediction models: datasets, models, tools, and metrics for cross-dataset generalization analysis [36.689210473887904]
本稿では,ディープラーニング(DL)モデルと機械学習(ML)モデルにおけるデータセット間予測の一般化を評価するためのベンチマークフレームワークを提案する。絶対的なパフォーマンス(データセット間での予測精度など)と相対的なパフォーマンス(例えば、データセット内の結果と比較してパフォーマンス低下)の両方を定量化します。本結果は,厳密な一般化評価の重要性を浮き彫りにして,未知のデータセット上でモデルをテストする場合の大幅な性能低下を明らかにした。
論文参考訳（メタデータ） (2025-03-18T15:40:18Z)
OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。我々のベンチマークは多次元評価フレームワークによって特徴づけられる。実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
論文参考訳（メタデータ） (2024-12-17T15:38:42Z)
Beyond the Numbers: Transparency in Relation Extraction Benchmark Creation and Leaderboards [5.632231145349045]
本稿では,NLPにおけるベンチマーク作成の透明性と,NLPの進捗測定におけるリーダボードの利用について検討する。既存の関係抽出ベンチマークは、ドキュメントが不十分で重要な詳細が欠如していることが多い。議論の中心はREベンチマークとリーダボードの透明性ですが、議論する観察は他のNLPタスクにも広く適用できます。
論文参考訳（メタデータ） (2024-11-07T22:36:19Z)
Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models [65.8478860180793]
イベント抽出は広範囲の応用により、広範囲の研究が注目されている。イベント抽出の現在の評価法はトークンレベルの正確な一致に依存している。イベント抽出のための信頼性とセマンティックな評価フレームワークであるRAEEを提案する。
論文参考訳（メタデータ） (2024-10-12T07:54:01Z)
SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文参考訳（メタデータ） (2024-09-16T01:08:18Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
論文参考訳（メタデータ） (2023-10-10T13:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。