論文の概要: LLM-as-a-Judge for Low-Resource Languages: Adapting Ragas and Comparative Ranking for Romanian

• arxiv url: http://arxiv.org/abs/2610.00406v1
• Date: Wed, 30 Sep 2026 13:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.637669
• Title: LLM-as-a-Judge for Low-Resource Languages: Adapting Ragas and Comparative Ranking for Romanian
• Title（参考訳）: LLM-as-a-Judge for Low-Resource Languages: Adapting Ragas and Comparison Ranking for Romanian
• Abstract要約: 本稿では,ラガの枠組みを適用し,ルーマニア語における「LLM-as-a-Judge」パラダイムの実現可能性について検討する。 我々は、ネイティブスピーカーが注釈付けしたルーマニアの行政文書のキュレートされたデータセットであるAdminRo-Evalを紹介し、自動評価器のベンチマークのための基礎的な真実として機能する。
• 参考スコア（独自算出の注目度）: 3.4822637468319733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating Retrieval-Augmented Generation (RAG) systems remains a challenge for Low-Resource Languages (LRLs), where standard reference-based metrics fall short. This paper investigates the viability of the "LLM-as-a-Judge" paradigm for Romanian by adapting the Ragas framework using next-generation models (Gemini 2.5 and Gemini 3). We introduce AdminRo-Eval, a curated dataset of Romanian administrative documents annotated by native speakers, to serve as a ground truth for benchmarking automated evaluators. We compare three evaluation methodologies - direct scoring, comparative ranking, and granular decomposition - across metrics for Faithfulness, Answer Relevance, and Context Relevance. Our findings reveal that evaluation strategies must be metric-specific: granular decomposition achieves the highest human alignment for Faithfulness (96% with Gemini 2.5 Pro), while comparative ranking outperforms in Answer Relevance (90%). Furthermore, we demonstrate that while lightweight models struggle with complex reasoning in LRLs, the Gemini 2.5 Pro architecture establishes a robust, transferable baseline for automated Romanian RAG evaluation.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)システムの評価は、標準基準ベースのメトリクスが不足している低リソース言語(LRL)にとって依然として課題である。 本稿では,次世代モデル(Gemini 2.5およびGemini 3)を用いたRagasフレームワークの適用により,ルーマニアの「LLM-as-a-Judge」パラダイムの実現可能性について検討する。 我々は、ネイティブスピーカーによって注釈付けされたルーマニアの行政文書のキュレートされたデータセットであるAdminRo-Evalを紹介し、自動評価器のベンチマークのための基礎的な真実として機能する。 直接スコアリング、比較ランク付け、粒度分解の3つの評価手法を、忠実度、回答関連性、文脈関連性(Context Relevance)の指標で比較する。 その結果, 評価戦略は, 粒状分解は, 信頼度が最も高い(Gemini 2.5 Proの96%) のに対し, アンサー関連度(90%)では, 評価戦略は有意であることが明らかとなった。 さらに,軽量モデルはLRLの複雑な推論に苦しむが,Gemini 2.5 ProアーキテクチャはルーマニアのRAG自動評価のための堅牢で転送可能なベースラインを確立する。

関連論文リスト

• Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study [13.666045109234107]
  我々は,様々な大言語モデル(LLM)間でBERTScoreとSemDistを分析し,音声認識(ASR)の評価を行う。 その結果,エンコーダをベースとしたメトリクスは高い競争力を維持しつつも,生成型LLMは仮説比較を強く行い,ASR評価の解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2026-08-26T09:36:48Z)
• Evaluating RAG for French immigration law: a benchmark and baseline study [0.3058685580689604]
  フランスでの国際採用には、既存の法律AIベンチマークにはない階層化された法的枠組みをナビゲートする必要がある。 提案手法は,許可型レコメンデーション,要求文書検索,法的引用のカバレッジを網羅する。
  論文  参考訳（メタデータ） (2026-07-27T13:55:35Z)
• Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets [2.0199251985015434]
  データセットとベンチマークのスケーラブルで高品質な翻訳を可能にするために,完全に自動化されたフレームワークを提案する。 このアプローチを適用して、人気のあるベンチマークとデータセットを8つの東欧と南欧の言語に翻訳します。
  論文  参考訳（メタデータ） (2026-02-25T18:58:25Z)
• GRRM: Group Relative Reward Modeling for Machine Translation [42.24067432947138]
  Group Relative Reward Model (GRRM) - 機械翻訳のためのモデル。 我々は、GQM(Group Quality Metric)パラダイムを導入し、GRRM(Group Relative Reward Model)を介してインスタンス化する。 我々のフレームワークは、一般的な翻訳品質を向上するだけでなく、最先端の推論モデルに匹敵する推論能力を開放する。
  論文  参考訳（メタデータ） (2026-02-15T07:22:27Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• HuAMR: A Hungarian AMR Parser and Dataset [0.20499240875881997]
  本稿では,最初の抽象的意味表現(AMR)データセットであるHuaMRについて紹介する。 HuAMRを作成するために、私たちはLlama-3.1-70Bを使用し、銀標準のAMRアノテーションを自動的に生成しました。
  論文  参考訳（メタデータ） (2025-02-27T21:48:11Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)
• Improving Candidate Generation for Low-resource Cross-lingual Entity Linking [81.41804263432684]
  XEL(クロスランガル・エンティティ・リンク)は、ソース言語テキストから抽出された参照をターゲット言語知識ベース(KB)で検索するタスクである。 本稿では,(1)エンティティ参照とKBエントリの切断を減らすこと,(2)低リソースシナリオへのモデルの堅牢性を改善すること,の3つの改良を提案する。
  論文  参考訳（メタデータ） (2020-03-03T05:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。