論文の概要: Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies

• arxiv url: http://arxiv.org/abs/2605.29712v1
• Date: Thu, 28 May 2026 10:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.173216
• Title: Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies
• Title（参考訳）: ヒューマン・テスト・テイキング・ストラテジーを用いた言語モデルによるクレームの接地状況の把握
• Authors: Yuxuan Ye, Raul Santos-Rodriguez, Edwin Simpson,
• Abstract要約: 検索強化生成のような大規模言語モデル(LLM)アプリケーションでは,根拠付きクレームの事実性チェックが重要である。 本報告では, 根拠付き事実性チェックを真偽読解タスクとして定式化することによって, この問題に対処する。 本手法は未案内のオープンエンド推論と比較してトークン使用率を80%以上削減する。
• 参考スコア（独自算出の注目度）: 0.9867902290081937
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Grounded claim factuality checking is important for large language model (LLM) applications such as retrieval-augmented generation, as it helps users assess the correctness of generated outputs. Existing metrics using entailment classifiers require dataset-specific threshold tuning, while LLM-based approaches often use direct prompting, which underutilises the reasoning capabilities of LLMs. We address this by formulating grounded claim factuality checking as a true/false reading comprehension task and prompting LLMs with explicit test-taking strategies for efficient reasoning. Our method reduces token usage by over 80% compared to unguided open-ended reasoning, and achieves competitive performance to more expensive alternatives across two factuality benchmarks, setting a new state of the art on one. To further reduce inference cost, we train small language models (SLMs) to replace LLMs in the checking pipeline. Using supervised fine-tuning (SFT) and a self-revision mechanism, the SLMs learn to improve their factuality judgements. Experimental results show that the resulting SLMs perform on par with strong baselines, combining low inference costs with generating supporting rationales to support interpretability. Code and datasets will be released upon acceptance.
• Abstract（参考訳）: 検索強化生成などの大規模言語モデル(LLM)アプリケーションでは,ユーザが生成した出力の正確性を評価する上で,グラウンドドクレームの事実性チェックが重要である。 既存のエンテーメント分類器を使ったメトリクスはデータセット固有のしきい値調整を必要とするが、LLMベースのアプローチでは直接プロンプトを使うことが多く、LLMの推論能力は不十分である。 本稿では, 根拠的事実性チェックを真/偽読解タスクとして定式化し, 効率的な推論を行うための明示的なテストテイク戦略をLCMに促すことにより, この問題に対処する。 提案手法は,未解決のオープンエンド推論と比較してトークン使用率を80%以上削減し,さらに2つの事実性ベンチマークにおいて,より高価な代替品に対する競合性能を実現し,新しい最先端のトークンを1つに設定する。 推論コストをさらに削減するため、チェックパイプライン内のLLMを置き換えるために、小型言語モデル(SLM)を訓練する。 教師付き微調整(SFT)と自己修正機構を用いて、SLMは事実性判断を改善することを学ぶ。 実験結果から,結果のSLMは高いベースラインと同等に動作し,低推論コストと有理性の生成を組み合わせ,解釈可能性を実現することが示唆された。 コードとデータセットは受け入れ次第リリースされる。

関連論文リスト

• LLM-Specific Utility: A New Perspective for Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存の研究はしばしばユーティリティをジェネリック属性として扱い、異なるLLMが同じ通路から異なる利益をもたらすという事実を無視している。
  論文  参考訳（メタデータ） (2025-10-13T12:57:45Z)
• RJE: A Retrieval-Judgment-Exploration Framework for Efficient Knowledge Graph Question Answering with LLMs [18.947344953344995]
  Retrieval-Judgment-Exploration (RJE)は、洗練された推論経路を検索し、その十分性を評価し、追加の証拠を条件付きで探索するフレームワークである。 RJE はエージェントベースの手法と比較して LLM 呼び出しとトークンの使用量を著しく削減し、大幅な効率改善をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T03:56:18Z)
• Efficiency-Effectiveness Reranking FLOPs for LLM-based Rerankers [17.658542084440082]
  大規模言語モデル(LLM)は,情報検索におけるタスクの再分類に応用され,高い性能を実現している。 既存の研究では、遅延、フォワードパス数、入力トークン、出力トークンなどのプロキシメトリクスを使用して、LCMベースのリランカの効率を評価する。 本稿では、PetaFLOP当たりのランキング品質(例えば、NDCGやMRR)と、PetaFLOP当たりのクエリ数(PetaFLOPあたりのクエリ数)を測るRCPを提案する。
  論文  参考訳（メタデータ） (2025-07-08T17:56:28Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• Test-Time Learning for Large Language Models [33.11605667376906]
  大規模言語モデル(LLM)のためのテスト時間学習(TTL)パラダイムを提案する。 LLMはテスト中にラベルなしのテストデータのみを使用してターゲットドメインに動的に適応する。 TLMはドメイン知識適応における元のLLMと比較して少なくとも20%性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T02:18:59Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
  意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。 LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。 我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
  論文  参考訳（メタデータ） (2024-03-21T22:08:44Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。