論文の概要: Free-Text Evaluation of LLMs for 5G Domain Knowledge and Fault Analysis using LLM-as-Judge

• arxiv url: http://arxiv.org/abs/2608.21021v1
• Date: Fri, 21 Aug 2026 12:09:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.522023
• Title: Free-Text Evaluation of LLMs for 5G Domain Knowledge and Fault Analysis using LLM-as-Judge
• Title（参考訳）: LLM-as-Judgeを用いた5G領域知識と故障解析のためのLLMの自由テキスト評価
• Abstract要約: 本稿では,5G領域の理解とフォールト解析を自由テキスト生成形式で評価する。 自由テキスト5Gドメイン知識と故障解析タスクに基づいて、3つの軽量LCM(Claude-Haiku-4.5, GPT-5.4-Mini, Gemini-3.1-Flash-Lite)を評価した。
• 参考スコア（独自算出の注目度）: 46.547776251310694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world fault analysis in 5G and emerging 6G networks demands domain expertise to analyze free-text diagnostics, including root-cause explanations and recommended actions. LLMs have emerged as a promising approach to automating this, yet whether lightweight, edge-deployable models are capable of performing in-depth free-text diagnostics remains an open question. While existing benchmarks rely on restrictive MCQs with fixed answer keys, this paper evaluates 5G domain understanding and fault analysis in a free-text generation format. Transitioning to this paradigm requires evaluating lightweight, edge-deployable AI models on open-ended diagnostic reasoning, alongside a dependable framework to validate these text outputs at scale. To address this we evaluate three lightweight LLMs, Claude-Haiku-4.5, GPT-5.4-Mini, and Gemini-3.1-Flash-Lite, on free-text 5G domain knowledge and fault-analysis tasks across three benchmarks, TeleQNA ORAN FT, 5G-Faults FT, and TeleInter FT. Three independent frontier judges score outputs, and pairwise inter-judge agreement is measured as an empirical test of the LLM-as-Judge methodology. All three models reach at least 90% accuracy on fault diagnosis, while zero-shot recall of 3GPP and O-RAN specifications remains the critical gap, with all models scoring below 60%. Mean inter-judge agreement is at least 0.90 across all runs, indicating that multi-judge LLM scoring produces consistent, reproducible grades for open-ended telecom responses. Operationally, Gemini-3.1-Flash-Lite offers the best efficiency trade-off, combining competitive accuracy with the lowest inference cost and latency, making it the most suitable candidate for production telecom deployments.
• Abstract（参考訳）: 5Gおよび新興6Gネットワークにおける実世界の障害解析は、根本原因の説明や推奨アクションを含む、自由テキスト診断の分析をドメインの専門知識に要求する。 LLMは、これを自動化するための有望なアプローチとして登場したが、軽量で、エッジにデプロイ可能なモデルが、詳細な自由テキスト診断を実行できるかどうかはまだ未解決のままである。 既存のベンチマークでは,固定応答キーを用いた制限型MCQに頼っているが,本論文では,5G領域の理解とフォールト解析を自由テキスト生成形式で評価する。 このパラダイムへの移行には、これらのテキストアウトプットを大規模に検証する信頼性の高いフレームワークに加えて、オープンエンドの診断推論に基づいて、軽量でエッジデプロイ可能なAIモデルを評価する必要がある。 そこで我々は,3つのベンチマーク(TeleQNA ORAN FT,5G-Faults FT,TeleInter FT)のフリーテキスト5Gドメイン知識と故障解析タスクに基づいて,Claude-Haiku-4.5,GPT-5.4-Mini,Gemini-3.1-Flash-Liteの3つの軽量LCMを評価した。 3つの独立したフロンティア判事がアウトプットを採点し、LLM-as-Judge方法論の実証テストとして、ペアワイズ・ジャッジ合意を計測する。 一方、3GPPとO-RAN仕様のゼロショットリコールは依然として重要なギャップであり、すべてのモデルが60%以下である。 平均ジャッジ間合意は、全走行で少なくとも0.90であり、マルチジャッジLLMスコアは、オープンエンドの通信応答に対して一貫した再現可能なグレードを生成することを示している。 運用上、Gemini-3.1-Flash-Liteは最良の効率トレードオフを提供し、競合する精度と最小の推論コストと遅延を組み合わせ、製品用テレコムのデプロイメントに最も適した候補となる。

関連論文リスト

• Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction [0.8748252151298775]
  ヴィジュアル言語モデル(VLM)は、ビジネス文書から構造化されたフィールドを抽出するためにますます用いられる。 ほとんどの評価では、クリーンなベンチマークの正確さを報告し、与えられたタスクの複雑さに対するアプローチを選択する実践者にはほとんどガイダンスを提供しない。 このギャップを計測地上調査とオープンソースリリースで解決する。
  論文  参考訳（メタデータ） (2026-09-14T15:10:33Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• GTBench: A Curriculum-Grounded Benchmark for Evaluating LLMs as Mathematical Research Assistants in Graph Theory [0.0134610399747818]
  GTBenchは、グラフ理論の数学的研究アシスタントとして、大規模言語モデル(LLM)を評価するためのカリキュラムベースベンチマークである。 GPT-5, Claude Sonnet 4.6, Gemini 2.5 Flash-Lite, Llama 3.3 70B, Mistral Large 3 の評価を行った。
  論文  参考訳（メタデータ） (2026-06-02T04:40:25Z)
• VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
  VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。 VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。 3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
  論文  参考訳（メタデータ） (2026-05-11T23:39:19Z)
• Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts [0.07812854697536452]
  6つのベンチマークで206,000のクエリモデルペアを持つマルチ層LSMルーティングについて大規模に検討する。 報告された未解決性のかなりの部分は, 評価成果物に起因していることが示されている。
  論文  参考訳（メタデータ） (2026-05-08T07:49:24Z)
• PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis [0.0]
  大規模言語モデル(LLM)は、自然言語の理解と生成において高い性能を示すが、通信顧客サポートにおけるドメイン固有の制約に対する評価と適応は依然として限られている。 本稿では,Qwen2.5-3Bに適用された低ランク適応(LoRA)を用いたパラメータ効率細調整(PEFT)の系統的研究を行い,ドメイン固有の対話アシスタントを構築する。 Gemini Geminiを動力とする生成パイプラインを通じて,1,560の異なる問題シナリオに対して約30,000のトレーニング例を生成する。
  論文  参考訳（メタデータ） (2026-04-17T09:56:18Z)
• LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics [0.0]
  大規模言語モデル(LLM)は、ログ理解のための有望な新しいアプローチを提供する。 LLMはラベル付きトレーニングデータを必要とせずに、目覚ましいゼロショット機能を示す。 本研究は,ログ異常検出方法を選択するための実用的なガイドラインを提供する。
  論文  参考訳（メタデータ） (2026-04-14T02:51:48Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
  我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
  論文  参考訳（メタデータ） (2024-12-19T18:58:04Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。