論文の概要: Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs

• arxiv url: http://arxiv.org/abs/2505.23299v1
• Date: Thu, 29 May 2025 09:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.799753
• Title: Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs
• Title（参考訳）: LLMにおける文脈に基づく質問・回答の評価のためのデータ効率のメタモデル
• Authors: Julia Belikova, Konstantin Polev, Rauf Parchiev, Dmitry Simakov,
• Abstract要約: 大規模言語モデル(LLM)とレトリーバル拡張生成(RAG)システムは、産業アプリケーションにますます多くデプロイされている。 その信頼性は、幻覚検出の課題によって妨げられている。 本稿では,データアノテーションのボトルネックを,トレーニングデータ要件の低減の可能性を検討することによって解決する。
• 参考スコア（独自算出の注目度）: 1.6332728502735252
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) systems are increasingly deployed in industry applications, yet their reliability remains hampered by challenges in detecting hallucinations. While supervised state-of-the-art (SOTA) methods that leverage LLM hidden states -- such as activation tracing and representation analysis -- show promise, their dependence on extensively annotated datasets limits scalability in real-world applications. This paper addresses the critical bottleneck of data annotation by investigating the feasibility of reducing training data requirements for two SOTA hallucination detection frameworks: Lookback Lens, which analyzes attention head dynamics, and probing-based approaches, which decode internal model representations. We propose a methodology combining efficient classification algorithms with dimensionality reduction techniques to minimize sample size demands while maintaining competitive performance. Evaluations on standardized question-answering RAG benchmarks show that our approach achieves performance comparable to strong proprietary LLM-based baselines with only 250 training samples. These results highlight the potential of lightweight, data-efficient paradigms for industrial deployment, particularly in annotation-constrained scenarios.
• Abstract（参考訳）: 大規模言語モデル (LLM) とレトリーバル拡張生成 (RAG) システムは、産業アプリケーションにますます導入されているが、その信頼性は幻覚を検出する上での課題によって妨げられている。 LLM隠蔽状態(アクティベーショントレースや表現分析など)を利用するSOTA(State-of-the-art)メソッドは、将来性を示しているが、アノテーション付きデータセットへの依存は、現実世界のアプリケーションにおけるスケーラビリティを制限している。 本稿では,2つのSOTA幻覚検出フレームワークにおけるトレーニングデータ要求の低減の実現可能性を検討することにより,データアノテーションの重大なボトルネックを克服する。 本稿では,効率的な分類アルゴリズムと次元削減手法を組み合わせて,競争性能を維持しつつ,サンプルサイズ要求を最小限に抑える手法を提案する。 標準化された質問応答RAGベンチマークによる評価から,本手法は,250のトレーニングサンプルのみで,強力なLLMベースラインに匹敵する性能を達成できることが示された。 これらの結果は、特にアノテーションに制約されたシナリオにおいて、産業展開のための軽量でデータ効率のパラダイムの可能性を強調します。

関連論文リスト

• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [61.99353167168545]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける情報ゲインの定量化を行い、障害モードの識別を可能にする。 提案手法の有効性を,玩具およびGSM-8Kデータに対する広範囲な実験により実証し,既存の結果に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Revisit Input Perturbation Problems for LLMs: A Unified Robustness Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
  本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。 具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。 本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
  論文  参考訳（メタデータ） (2023-10-10T10:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。