論文の概要: Human Grounded Evaluation of Large Language Models for Optical Network Automation
- arxiv url: http://arxiv.org/abs/2607.18068v2
- Date: Tue, 21 Jul 2026 09:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 14:48:36.439839
- Title: Human Grounded Evaluation of Large Language Models for Optical Network Automation
- Title（参考訳）: 光ネットワーク自動化のための大規模言語モデルの人為的評価
- Abstract要約: 大規模言語モデル(LLM)は、ネットワーク自動化にますます採用されているが、その出力品質と推論コストはかなり異なる。
We present HuGLEN, a stepwise evaluation pipeline that using a LLM-as-a-judge with a small set of expert ratings。
本稿では,光ネットワーク品質評価タスク(QoT)を演算子フレンドリな説明に変換するために,説明可能な人工知能(XAI)モデルから出力を変換するためのHuGLENを実証する。
- 参考スコア（独自算出の注目度）: 1.0709603403936399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly adopted for network automation, yet their output quality and inference cost can vary substantially across LLM families. We present HuGLEN, a stepwise evaluation pipeline that uses an LLM-as-a-judge together with a small set of expert ratings to enable scalable and reproducible comparison of candidate LLMs, and to rank them using a quality efficiency score (QES). We demonstrate HuGLEN for translating outputs from an explainable artificial intelligence (XAI) model for the optical network quality of transmission (QoT) estimation task into operator-friendly explanations. Our results show that a medium-sized LLM (12B parameters) achieves the highest QES, indicating the best trade-off between explanation quality and efficiency. Overall, HuGLEN reduces the human-labeling burden while supporting consistent model selection for operator-facing automation tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ネットワーク自動化にますます採用されているが、その出力品質と推論コストはLLMファミリーによって大きく異なる。
本稿では,LLM-as-a-judgeを用いた段階的評価パイプラインであるHuGLENを提案する。
本稿では,光ネットワーク品質評価タスク(QoT)を演算子フレンドリな説明に変換するために,説明可能な人工知能(XAI)モデルから出力を変換するためのHuGLENを実証する。
その結果,中規模のLLM (12Bパラメータ) が最も高いQESを達成し,説明の質と効率の最良のトレードオフを示した。
全体として、HuGLENは演算子対応自動化タスクの一貫性のあるモデル選択をサポートしながら、人間のラベルの負担を軽減する。
関連論文リスト
- CompactQE: Interpretable Translation Quality Estimation via Small Open-Weight LLMs [0.5599792629509229]
機械翻訳における最先端の品質評価は、大規模でプロプライエタリなLLMに依存している。
より小型のオープンソース LLM が,実行可能で費用効率が高く,プライバシ保護の代替手段であることを実証する。
論文 参考訳（メタデータ） (2026-05-15T09:22:55Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Efficient Self-Improvement in Multimodal Large Language Models: A Model-Level Judge-Free Approach [31.654345704242512]
本稿では,新しいモデルレベルの判断自由自己改善フレームワークを提案する。
本手法では,検証ループにおけるMLLMの必要性を解消しつつ,制御されたフィードバック機構を用いる。
計算要求が大幅に小さく、精度とリコールの精度が向上する。
論文 参考訳（メタデータ） (2024-11-26T00:44:37Z) - Autonomous Evaluation of LLMs for Truth Maintenance and Reasoning Tasks [20.072783454089098]
本稿では,大規模言語モデル (LLM) 評価を形式的タスクに拡張するための新しいベンチマークである AutoEval を提案する。
AutoEvalは最初のベンチマークパラダイムであり、人間のラベルなしでLLMの客観的評価をスケールするのに必要ないくつかの重要な利点を提供している。
論文 参考訳（メタデータ） (2024-10-11T00:56:37Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Leveraging LLMs for Dialogue Quality Measurement [27.046917937460798]
大規模言語モデル(LLM)は、NLPタスク全体で堅牢なゼロショットと少数ショットの機能を提供する。
モデルサイズ,文脈内例,選択手法などの操作要因を考察し,CoT推論とラベル抽出手法について検討する。
この結果から,適切な微調整と十分な推論能力を有するLCMを自動対話評価に活用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-25T06:19:47Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。
その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文 参考訳（メタデータ） (2024-05-01T16:13:54Z) - RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。
我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
論文 参考訳（メタデータ） (2024-04-30T13:50:55Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。