論文の概要: Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task

• arxiv url: http://arxiv.org/abs/2610.11598v1
• Date: Thu, 08 Oct 2026 09:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 11:59:33.748106
• Title: Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task
• Title（参考訳）: LLM2(AEOLLM-2)タスクのNTCIR-19自動評価の概要
• Abstract要約: 本稿では,タスクの背景,データセットの構築,評価尺度,参加者の方法,最終的な評価結果について述べる。 今年は、計10チームから91回実施され、タスクの背景、データセットの構築、評価尺度、参加者の方法、最終的な評価結果について述べる。
• 参考スコア（独自算出の注目度）: 29.340154039477795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we provide an overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) task. Building on the success of the NTCIR-18 core task AEOLLM, we proposed AEOLLM-2 for NTCIR-19 to further investigate automatic evaluation methods for Large Language Models (LLMs), particularly in long-form text generation scenarios. In AEOLLM-2, we introduced a new subtask, Deep Research Evaluation, which focuses on the automatic evaluation of long-form deep research reports generated by LLMs. Participants developed evaluation methods to automatically assess the quality of these reports, and the performance of each method was measured by comparing its scores against human-annotated ground-truth labels. This year, we received 91 runs from 10 teams in total. This paper describes the background of the task, the dataset construction, the evaluation measures, the participants' methods, and the final evaluation results.
• Abstract（参考訳）: 本稿では, NTCIR-19 による LLMs 2 (AEOLLM-2) タスクの自動評価の概要について述べる。 NTCIR-18 コアタスク AEOLLM の成功に基づいて NTCIR-19 のための AEOLLM-2 を提案する。 AEOLLM-2では,LLMによる長期研究報告の自動評価に焦点を当てた新しいサブタスクであるDeep Research Evaluationを導入した。 参加者は,これらのレポートの質を自動評価する評価手法を開発し,そのスコアを人手による接地木ラベルと比較することにより,各手法の性能を測定した。 今年は合計10チームから91回の出場を果たしました。 本稿では,タスクの背景,データセットの構築,評価尺度,参加者の方法,最終的な評価結果について述べる。

関連論文リスト

• Overview of the NTCIR-18 Automatic Evaluation of LLMs (AEOLLM) Task [18.804153276924332]
  本稿では,タスクの背景,データセット,評価尺度,評価結果について述べる。 今年は4チームから48回実施した。本稿では,タスクの背景,データセット,評価尺度,評価結果について述べる。
  論文  参考訳（メタデータ） (2025-03-17T10:42:34Z)
• PanguIR Technical Report for NTCIR-18 AEOLLM Task [12.061652026366591]
  大規模言語モデル(LLM)はますます重要で、評価が難しい。 手作業の評価は包括的ではあるが、コストが高くリソース集約的であることが多い。 自動評価はスケーラビリティを提供するが、評価基準の制限によって制約される。
  論文  参考訳（メタデータ） (2025-03-04T07:40:02Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• The Fellowship of the LLMs: Multi-Model Workflows for Synthetic Preference Optimization Dataset Generation [4.524402497958597]
  本稿では,マルチモデルを用いた合成優先度最適化(PO)データセットの生成手法を提案する。 データセット生成プロセスの自動化と向上において,これらの有効性と可能性を評価する。
  論文  参考訳（メタデータ） (2024-08-16T12:01:55Z)
• A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
  本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。 以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
  論文  参考訳（メタデータ） (2024-06-30T16:12:37Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。