論文の概要: Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation

• arxiv url: http://arxiv.org/abs/2604.05083v1
• Date: Mon, 06 Apr 2026 18:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.442889
• Title: Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
• Title（参考訳）: LLM-as-a-Judgeを超えて:多言語生成テキスト評価のための決定論的指標
• Abstract要約: 大規模言語モデル(LLM)は、生成したテキストを評価するための自動判断器として、ますます採用されている。 我々は、相補的で決定論的に学習されたメトリクスのファミリーである textbftextit OmniScore を提案する。 大規模総合管理モデル(sim$564k, textbf107 言語)を訓練し,手動で8,617 の注釈付きインスタンスを用いて評価した。
• 参考スコア（独自算出の注目度）: 20.309826321619482
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While Large Language Models (LLMs) are increasingly adopted as automated judges for evaluating generated text, their outputs are often costly, and highly sensitive to prompt design, language, and aggregation strategies, severely, which limits reproducibility. To address these challenges, we propose \textbf{\textit{OmniScore}}, a family of complementary, deterministic learned metrics developed using small size ($<$1B) parameter models. OmniScore approximates LLM-judge behavior while preserving the low latency and consistency of traditional model-based scoring. We trained the models large-scale synthetic supervision ($\sim$564k instances, in \textbf{107 languages}) and evaluated using 8,617 manually annotated instances. The OmniScore family supports reliable, multi-dimensional scores across a variety of settings, including reference-based, source-grounded, and hybrid evaluations. We evaluate these models across question answering (QA), translation, and summarization in \textbf{6 languages}. Our results demonstrate that lightweight, deterministic learned metrics provide a highly practical and scalable alternative to frontier LLMs. Our models and datasets can be found at https://huggingface.co/collections/QCRI/omniscore
• Abstract（参考訳）: 大規模言語モデル(LLM)は、生成したテキストを評価する自動化判断器としてますます採用されているが、そのアウトプットはコストが高く、設計、言語、集約戦略に非常に敏感であり、再現性を著しく制限している。 これらの課題に対処するために,小ささ ($1B) のパラメータモデルを用いて開発した相補的決定論的学習指標群である \textbf{\textit{OmniScore}} を提案する。 OmniScoreは、従来のモデルベースのスコアリングの低レイテンシと一貫性を維持しながら、LCM-judgeの挙動を近似する。 我々は,大規模合成管理モデル(XMLbf{107 言語で 564k のインスタンス)を訓練し,手動で8,617 のアノテーション付きインスタンスを用いて評価した。 OmniScoreファミリは、参照ベース、ソースグラウンド、ハイブリッド評価など、さまざまな設定で信頼性の高い多次元スコアをサポートする。 質問応答 (QA) , 翻訳, 要約を含むこれらのモデルを, textbf{6 言語で評価する。 我々の結果は,軽量で決定論的に学習されたメトリクスが,フロンティアのLLMに代わる,非常に実用的でスケーラブルな代替手段を提供することを示した。 私たちのモデルとデータセットはhttps://huggingface.co/collections/QCRI/omniscoreで確認できます。

関連論文リスト

• HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing [84.84959282480641]
  テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。 また、3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。
  論文  参考訳（メタデータ） (2026-04-21T04:26:39Z)
• Found in Translation: Measuring Multilingual LLM Consistency as Simple as Translate then Evaluate [36.641755706551336]
  大規模言語モデル(LLM)は、英語のクエリに対して詳細で印象的な応答を提供する。 しかし、彼らは他の言語で同じクエリに対応することに本当に一貫性がありますか? 本稿では,LLMの言語間整合性を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-28T06:00:21Z)
• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• SCORE: Systematic COnsistency and Robustness Evaluation for Large Language Models [4.875712300661656]
  本稿では,大規模言語モデルの非敵対的評価のための総合的なフレームワークであるSCORE ($mathbfS$ystematic $mathbfCO$nsistency and $mathbfR$obustness $mathbfE$valuationを提案する。 SCOREフレームワークは、様々な設定で同じベンチマークで繰り返しテストすることでモデルを評価し、精度と一貫性を現実的に見積もる。
  論文  参考訳（メタデータ） (2025-02-28T19:27:29Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
  FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。 また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
  論文  参考訳（メタデータ） (2024-07-01T02:20:28Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Scalable Performance Analysis for Vision-Language Models [26.45624201546282]
  統合視覚言語モデルは、様々なタスクセットに対して優れたパフォーマンスを示している。 本稿では、すでにアノテーション付きベンチマークに依存する、よりスケーラブルなソリューションを紹介します。 従来,CLIPは単語の袋のように振る舞い,名詞や動詞でより良く振る舞うことが確認された。
  論文  参考訳（メタデータ） (2023-05-30T06:40:08Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。