Fugu-MT 論文翻訳(概要): Automating Quality Assessment with NLP of LLM-Generated Defeaters

論文の概要: Automating Quality Assessment with NLP of LLM-Generated Defeaters

arxiv url: http://arxiv.org/abs/2607.06039v1
Date: Tue, 07 Jul 2026 09:15:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-08 21:24:51.466382
Title: Automating Quality Assessment with NLP of LLM-Generated Defeaters
Title（参考訳）: LLMデフレタのNLPによる品質評価の自動化
Abstract要約: 本稿では,自然言語処理技術を用いた敗者評価を支援するための自動手法を提案する。この手法は、保証ケースグラフとセマンティック埋め込みと、専門家評価された敗者アノテーションに基づいて訓練されたメタ分類器との構造的特徴を組み合わせる。その結果、コーエンのカッパ値は0.442未満であり、一貫性のある手作業による評価の難しさを浮き彫りにした。
参考スコア（独自算出の注目度）: 1.8810916321241071
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: High-integrity systems, such as autonomous vehicle fleets and large-scale energy infrastructures, rely on structured assurance cases to justify safety claims. To remain valid under evolving operational conditions, such cases must be examined against potential challenges, known as defeaters. While large language models (LLMs) can support the scalable generation of candidate defeaters, assessing their quality remains largely manual and subjective process. This paper presents an automated approach for supporting the assessment of LLM-generated defeaters using natural language processing techniques. The method combines structural features from assurance case graphs with semantic embeddings and meta-classifiers trained on expert-assessed defeater annotations. We evaluate the approach through two case studies in the automotive and energy domains. The results show substantial human reviewer dissensus, with Cohen's kappa values below 0.442, highlighting the difficulty of consistent manual assessment. Against this background, the proposed classifiers achieve an average F1-score of 0.84 in validation and show improved alignment with individual expert ratings. The findings suggest that automated assessment can help reduce subjective variance and provide scalable decision support for assurance case review, while leaving final judgment to domain experts.
Abstract（参考訳）: 自動運転車や大規模エネルギーインフラのような高統合システムは、安全要求を正当化するために構造化された保証ケースに依存している。進化した運用条件下で有効であるためには、これらのケースは、敗者として知られる潜在的な課題に対して検査されなければならない。大規模言語モデル(LLM)は、拡張性のある候補の敗者生成をサポートするが、その品質評価は手作業と主観的なプロセスがほとんどである。本稿では,自然言語処理技術を用いてLLM生成敗者評価を支援するための自動手法を提案する。この手法は、保証ケースグラフとセマンティック埋め込みと、専門家評価された敗者アノテーションに基づいて訓練されたメタ分類器との構造的特徴を組み合わせる。自動車分野とエネルギー分野の2つのケーススタディを通じてアプローチを評価する。その結果、コーエンのカッパ値は0.442未満であり、一貫性のある手作業による評価の難しさを浮き彫りにした。これに対し、提案した分類器は平均F1スコア0.84のバリデーションを達成し、個々の専門家評価との整合性が向上した。この結果は、自動評価が主観的分散を低減し、ドメインの専門家に最終判断を残しながら、保証ケースレビューのためのスケーラブルな意思決定支援を提供するのに役立つことを示唆している。

関連論文リスト

(Towards) Scalable Reliable Automated Evaluation with Large Language Models [0.0]
本研究は,Large Language Models (LLMs) 出力のエキスパートレベルの評価を近似するために設計された,新しい評価フレームワークを紹介する。 Eloレーティングシステムは、安定かつ解釈可能なランキングを生成するために使用される。予備的な結果は、自動的に導出されるランキングが専門家の判断とよく相関していることを示している。
論文参考訳（メタデータ） (2026-07-30T14:31:07Z)
LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges [4.655159257282136]
この調査は,大規模言語モデル(LLM)に基づく科学的ピアレビューのシステムレベル分析を提供する。批判生成とスコア予測という2つの中心的評価関数に注目した。プロンプトインジェクション、データ中毒、検索脆弱性、報酬ハッキングなど、新興のリスクを特定します。
論文参考訳（メタデータ） (2026-06-23T18:12:39Z)
Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文参考訳（メタデータ） (2026-04-21T14:21:15Z)
LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
論文参考訳（メタデータ） (2025-08-07T14:46:30Z)
Skewed Score: A statistical framework to assess autograders [2.9645858732618238]
LLM-as-a-judge"あるいはオートグラファーは、人間の評価に代わるスケーラブルな代替手段を提供する。彼らは様々な信頼性を示し、体系的なバイアスを示すかもしれない。そこで本稿では,研究者が自動分解器を同時に評価できる統計フレームワークを提案する。
論文参考訳（メタデータ） (2025-07-04T18:45:10Z)
T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文参考訳（メタデータ） (2025-05-23T13:44:59Z)
Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2025-01-10T05:51:52Z)
Human-Calibrated Automated Testing and Validation of Generative Language Models [3.2855317710497633]
本稿では,ジェネレーティブ言語モデル(GLM)の評価と検証のための包括的枠組みを提案する。銀行などの高額な領域に展開される検索・拡張世代(RAG)システムに焦点を当てている。
論文参考訳（メタデータ） (2024-11-25T13:53:36Z)
Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-10-16T06:06:06Z)
Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
論文参考訳（メタデータ） (2024-05-23T14:48:15Z)
MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文参考訳（メタデータ） (2023-12-28T15:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。