論文の概要: Do Factuality Methods Make LLMs More Factual? Reproducibility and Fair Comparison

• arxiv url: http://arxiv.org/abs/2610.18415v1
• Date: Tue, 13 Oct 2026 13:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.624176
• Title: Do Factuality Methods Make LLMs More Factual? Reproducibility and Fair Comparison
• Title（参考訳）: ファクチュアリティ法はLLMをより現実的なものにするか?再現性と公正な比較
• Abstract要約: 5つの事実性アライメント法の最初の独立再生を提示する。 これらの手法はいずれも完全な再現はせず、共通のベンチマークでは、どの手法もベースモデルよりも大幅に優れていない。
• 参考スコア（独自算出の注目度）: 14.07771397213171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are aligned to human preferences, after pre-training and supervised fine-tuning steps. However, standard RL alignment steps such as RLHF do not focus on factuality of LLMs, hence they may generate non-factual information, which could result in unintended consequences. In response, a number of factuality alignment approaches have been proposed in the literature which claim to improve factuality of LLMs on their own benchmarks. However, these methods have not been reproduced independently and are also not comparable since each uses a different base model, training data, evaluation set, judge, and metric. In this paper, we present the first independent reproduction of five factuality alignment methods, which span on-policy RL (PPO, GRPO, and Dr.~GRPO) and offline preference optimization (DPO and KTO), and compare them on a common benchmark with common evaluation metrics. We found that none of these methods reproduces in full, and on the common benchmark none of the methods significantly outperforms the base model. On closer inspection, the rewards optimize for format, length, or brevity rather than factuality and relevance, whereas the choice between on-policy and offline training matters little. Furthermore, the evaluation metrics and benchmarks are also part of the problem since they do not measure relevance of text to the prompt. Since there is no ground truth associated with the prompts, the reliance on LLM judges and retrieval for verification also makes the evaluation fragile. We release our code, data, and checkpoints.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練と教師付き微調整の手順を経て、人間の嗜好に適合する。 しかし、RLHFのような標準のRLアライメントステップはLLMの事実性に重点を置いていないため、非現実的な情報を生成し、意図しない結果をもたらす可能性がある。 これに対し、LLMの自己ベンチマークにおける事実性の改善を主張する文献において、多くの事実性アライメントアプローチが提案されている。 しかし、これらの手法は独立して再現されておらず、それぞれが異なるベースモデル、トレーニングデータ、評価セット、判定、計量を使用するため、同等ではない。 本稿では,PPO,GRPO,Dr.~GRPO,Dr.〜GRPO)とオフライン優先最適化(DPO,KTO)にまたがる5つのファクトリティアライメント手法を独立に再現し,共通評価指標と比較する。 いずれの手法も完全な再現は行わず、共通ベンチマークではどの手法もベースモデルよりも大幅に優れていないことがわかった。 より綿密な検査では、報酬は事実や関連性よりもフォーマット、長さ、簡潔性に最適化されるが、オンラインとオフラインのトレーニングの選択はそれほど重要ではない。 さらに、評価指標やベンチマークも、テキストのプロンプトへの関連性を計測しないため、問題の一部となっている。 プロンプトに基礎的な真実が存在しないため、LCMの判断と検証のための検索にも依存しているため、評価も脆弱である。 コード、データ、チェックポイントをリリースします。

関連論文リスト

• Rule-based Data Selection for Large Language Models [9.886837013587124]
  トレーニングデータの質は、大規模言語モデル(LLM)の性能に大きく影響する。 複数の人為的指標(ルール)に基づいてデータを評価・選択するためにLLMを用いた研究が増えている。 従来のルールベースのアプローチは、しばしば人間のベクトルに強く依存し、ルールを評価するための効果的な指標が欠如し、新しいタスクへの適応性が制限されている。
  論文  参考訳（メタデータ） (2024-10-07T03:13:06Z)
• Style Outweighs Substance: Failure Modes of LLM Judges in Alignment Benchmarking [56.275521022148794]
  ポストトレーニング法は、人間のペアワイズ選好とのより良い対応により、優れたアライメントを主張する。 LLM-judgeの好みは、アライメントのためのより具体的なメトリクスの進捗に変換されますか、そうでなければ、なぜそうでないのでしょうか? その結果,(1) LLM-judge の嗜好は,安全性,世界知識,指導の具体的な尺度と相関せず,(2) LLM-judge の暗黙バイアスが強く,事実性や安全性よりもスタイルを優先し,(3) POステージではなく,訓練後の微調整段階がアライメントに最も影響していることが判明した。
  論文  参考訳（メタデータ） (2024-09-23T17:58:07Z)
• Self-Play with Adversarial Critic: Provable and Scalable Offline Alignment for Language Models [44.38073745307387]
  本研究では,大規模言語モデル(LLM)とオフラインの嗜好データとの整合性について検討する。 オフラインRL文献から平均的な悲観的手法にインスパイアされた,セルフプレイによる新たなオフライン優先最適化手法であるSPACを提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:23:49Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。