論文の概要: Empirical Evaluation of Open-Source Large Language Models for Retrieval-Augmented Generation in ESG Domain

• arxiv url: http://arxiv.org/abs/2609.15242v1
• Date: Mon, 14 Sep 2026 09:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.201514
• Title: Empirical Evaluation of Open-Source Large Language Models for Retrieval-Augmented Generation in ESG Domain
• Title（参考訳）: ESG領域における検索拡張生成のためのオープンソースの大規模言語モデルの実証評価
• Abstract要約: Large Language Models (LLMs) と Retrieval-contexted Generation (RAG) は、RAGASによる説明責任抽出を自動化する可能性を提供する。 本稿では,EU上場企業からの498のリアルタイムESGレポートに基づいて,構造化フレームワークと評価リソースを用いてESGコンテキストにおけるオープンソースモデルの評価を行う。 glm-4.7-flash, nemotron-3-nano:4b, qwen3:4b-instruct, gemma3:4b, gemma4:e4b, gemma4:e2b。
• 参考スコア（独自算出の注目度）: 3.6950894119105473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Environmental, Social, and Governance (ESG) reporting is critical for corporate accountability, with Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) offering strong potential to automate KPI extraction. However, open-source LLM performance in domain-specific ESG tasks remains insufficiently understood. This paper evaluates open-source LLMs in ESG contexts using a structured framework and evaluation resource based on 498 real-world ESG reports from EU-listed companies (2010-2024). We evaluate seven open-source models (2B to 30B parameters) -- glm-4.7-flash, nemotron-3-nano:4b, qwen3:4b-instruct, gemma3:4b, gemma4:e4b, gemma4:e2b, and ministral-3:8b -- using 100 persona-based synthetic QA pairs covering ESG information needs. System performance is assessed via RAGAS metrics, including contextual recall, precision, relevance, faithfulness, answer relevancy, and factual correctness. Results show notable performance variations across architectures. Retrieval performance is strong across models (context recall around 0.58-0.61, context precision around 0.78-0.81, context relevance 0.965-0.985). Generation diverges most on faithfulness (0.607-0.822) and least on answer relevancy (0.760-0.881): glm-4.7-flash leads in faithfulness (0.822), qwen3 in factual correctness (0.449), and ministral-3 in answer relevancy (0.881). Low overall factual correctness (0.387-0.449) highlights the need for domain-specific fine-tuning. This work provides data-driven guidance for deploying open-source models in ESG reporting.
• Abstract（参考訳）: 環境・社会・ガバナンス(ESG)の報告は、企業説明責任にとって重要であり、大規模言語モデル(LLM)と検索・拡張世代(RAG)は、KPI抽出を自動化する強力な可能性を提供している。 しかし、ドメイン固有のESGタスクにおけるオープンソースのLLM性能は、まだ十分に理解されていない。 本報告では,EU上場企業からの498のリアルタイムESGレポート(2010-2024)に基づいて,構造化フレームワークと評価リソースを用いてESGコンテキストにおけるオープンソースのLCMを評価した。 glm-4.7-flash, nemotron-3-nano:4b, qwen3:4b-instruct, gemma3:4b, gemma4:e4b, gemma4:e2b, ministral-3:8bの7つのオープンソースモデルを評価する。 システムパフォーマンスは、文脈的リコール、精度、妥当性、忠実性、回答の妥当性、事実的正しさなど、RAGASメトリクスを介して評価される。 結果は、アーキテクチャ間での顕著なパフォーマンスの変化を示している。 検索性能はモデル間で強い(コンテキストリコールは0.58-0.61、コンテキスト精度は0.78-0.81、コンテキスト関連は0.965-0.985)。 生成は忠実度 (0.607-0.822) と少なくとも回答関連性 (0.760-0.881) に最も依存する: glm-4.7-フラッシュは忠実度 (0.822)、qwen3は事実正しさ (0.449)、ministral-3は答え関連性 (0.881) に導かれる。 全体的な事実的正確性(0.387-0.449)はドメイン固有の微調整の必要性を強調している。 この作業はESGレポートにオープンソースモデルをデプロイするためのデータ駆動のガイダンスを提供する。

関連論文リスト

• Sub-Billion, Super-Frontier: Small Language Models Rival Zero-Shot Frontier LLMs on General and Literary Relation Extraction [5.070542698701158]
  大言語モデル(LLM)は強い関係抽出(RE)を実現する 本研究では,小言語モデル(SLM)が汎用ドメインと文学テキスト間のギャップをいかに埋めるかを考察する。
  論文  参考訳（メタデータ） (2026-06-21T17:24:31Z)
• Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization [93.59040719904154]
  本稿では,検証可能な環境を構成可能なビルディングブロックとして概念化するフレームワークであるRACES(textbfRecursive textbf Automated textbfComposition for textbfEnvironment textbfScaling)を紹介する。 RACESは300の個別環境で実装され、多様な推論パターンを誘導する合成演算子セットを定義している。
  論文  参考訳（メタデータ） (2026-06-10T17:39:41Z)
• Identifying Imaging Follow-Up in Radiology Reports: A Comparative Analysis of Traditional ML and LLM Approaches [8.864020712680976]
  586例から6,393例の注釈付きコーパスを報告した。 我々は、ロジスティック回帰(LR)、サポートベクタマシン(SVM)、Longformer、そして完全に微調整されたLlama3-8B-インストラクトを含む従来の機械学習分類器を比較した。 GPT-4oとオープンソースのGPT-OSS-20Bを2つの構成で評価した。
  論文  参考訳（メタデータ） (2025-11-14T20:55:44Z)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
  我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。 我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。 Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
  論文  参考訳（メタデータ） (2025-10-30T07:29:14Z)
• Open-Source Agentic Hybrid RAG Framework for Scientific Literature Review [2.092154729589438]
  本稿では,ハイブリッドRAGパイプラインを自律エージェント内にカプセル化するエージェントアプローチを提案する。 当社のパイプラインでは,PubMedやarXiv,Google Scholar APIから,バイオロジカルなオープンアクセスデータを収集しています。 Llama-3.3-70B エージェントが GraphRAG (クエリを Cypher for KG に変換する) または VectorRAG (スパースと高密度検索を組み合わせて再ランク付けする) を選択する
  論文  参考訳（メタデータ） (2025-07-30T18:54:15Z)
• ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge [40.49917730563565]
  ESGeniusは、環境、社会、ガバナンス(ESG)における大規模言語モデル(LLM)の熟練度の評価と向上のための総合的なベンチマークである。 ESGenius-QA (i) ESGenius-QA (i) ESGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-Corpus (i) ESGenius-Corpus (i) ESGenius-Corpusは231の基本的なフレームワーク、標準、レポート、レコメンデーションドキュメントを、7つの権威あるソースから収集した。
  論文  参考訳（メタデータ） (2025-06-02T13:19:09Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• AttackQA: Development and Adoption of a Dataset for Assisting Cybersecurity Operations using Fine-tuned and Open-Source LLMs [0.0]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を生成するために微調整される。 本研究では,AttackQAと呼ばれるサイバーセキュリティ質問応答(Q&A)データセットを開発する。 我々は、セキュリティオペレーションセンターのアナリスト向けに設計されたRAGベースのQ&Aシステムを構築するためにそれを利用している。
  論文  参考訳（メタデータ） (2024-11-01T23:03:40Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。