論文の概要: SAGE: Scalable Automated Robustness Augmentation for LLM Knowledge Evaluation

• arxiv url: http://arxiv.org/abs/2605.12022v1
• Date: Tue, 12 May 2026 12:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.845011
• Title: SAGE: Scalable Automated Robustness Augmentation for LLM Knowledge Evaluation
• Title（参考訳）: SAGE: LLM知識評価のためのスケーラブルな自動ロバストネス向上
• Authors: Xiaoyuan Li, Yuzhe Wang, Moxin Li, Keqin Bao, Rui Men, Yichang Zhang, Dayiheng Liu, Wenjie Wang, Fuli Feng,
• Abstract要約: SAGEは,微調整された小型モデルを用いた知識評価ベンチマークのスケーラブルな堅牢性向上のためのフレームワークである。 HellaSwagの実験によると、SAGEは人間に注釈を付けたHellaSwag-Proに匹敵する、大規模な堅牢性向上ベンチマークを、かなり低コストで構築している。
• 参考スコア（独自算出の注目度）: 65.49183294872877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) achieve strong performance on standard knowledge evaluation benchmarks, yet recent work shows that their knowledge capabilities remain brittle under question variants that test the same knowledge in different forms. Robustness augmentation of existing knowledge evaluation benchmarks is therefore necessary, but current LLM-assisted generate-then-verify pipelines are costly and difficult to scale due to low-yield variant generation and unreliable variant verification. We propose SAGE (Scalable Automated Generation of Robustness BEnchmarks), a framework for scalable robustness augmentation of knowledge evaluation benchmarks using fine-tuned smaller models. SAGE consists of VariantQual, a rubric-based verifier trained on human-labeled seed data, and VariantGen, a variant generator initialized with supervised fine-tuning and further optimized with reinforcement learning using VariantQual as the reward model. Experiments on HellaSwag show that SAGE constructs a large-scale robustness-augmented benchmark with quality comparable to the human-annotated HellaSwag-Pro at substantially lower cost, while the fine-tuned models further generalize to MMLU without benchmark-specific fine-tuning.
• Abstract（参考訳）: LLM(Large Language Models)は、標準的な知識評価ベンチマークにおいて、高いパフォーマンスを達成するが、最近の研究は、それらの知識能力は、異なる形式で同じ知識をテストする疑問変種の下でも不安定であることを示している。 そのため、既存の知識評価ベンチマークのロバスト性向上が必要であるが、現在のLCM支援生成検証パイプラインは、低収率の変量生成と信頼性の低い変量検証のため、コストがかかり、スケールが困難である。 SAGE(Scalable Automated Generation of Robustness BEnchmarks)は,微調整された小型モデルを用いた知識評価ベンチマークのスケーラブルな堅牢性向上のためのフレームワークである。 SAGEは、人間のラベル付きシードデータに基づいてトレーニングされたルーリックベースの検証ツールであるVariantQualと、教師付き微調整で初期化され、報酬モデルとしてVariantQualを使用した強化学習に最適化された可変ジェネレータであるVariantGenで構成されている。 HellaSwag の実験では、SAGE は人間が注釈付けした HellaSwag-Pro に匹敵する品質の大規模な堅牢性向上ベンチマークをかなり低コストで構築し、細調整されたモデルはベンチマーク固有の微調整なしでMMLU にさらに一般化している。

関連論文リスト

• A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs [0.0]
  本稿では,複雑な産業記録を分類する作業において,LLM(Large Language Models)をベンチマークするためのフレームワークを提案する。 透明性を促進し、さらなる研究を促進するため、このフレームワークはオープンソースツールとして公開されている。 明確なパフォーマンス階層を定量化し、ベンチマーク標準と高い整合性を示すトップモデルを特定します。
  論文  参考訳（メタデータ） (2025-09-08T15:48:17Z)
• Statistical Runtime Verification for LLMs via Robustness Estimation [0.0]
  ランタイムクリティカルなアプリケーションにLLM(Large Language Models)を安全にデプロイするためには、逆の堅牢性検証が不可欠である。 ブラックボックス配置環境におけるLCMのオンライン実行時ロバスト性モニタとしての可能性を評価するために,RoMA統計検証フレームワークを適応・拡張するケーススタディを提案する。
  論文  参考訳（メタデータ） (2025-04-24T16:36:19Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。