論文の概要: Mitigating Fabrication in Multi-Stage LLM Pipelines for Hiring: An Empirical Evaluation of Prompt Guardrails and Human-in-the-Loop Checkpoints
- arxiv url: http://arxiv.org/abs/2608.26171v2
- Date: Wed, 16 Sep 2026 22:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.383373
- Title: Mitigating Fabrication in Multi-Stage LLM Pipelines for Hiring: An Empirical Evaluation of Prompt Guardrails and Human-in-the-Loop Checkpoints
- Title（参考訳）: 雇用用多段LLMパイプラインの模倣加工 : プロンプトガードレールと人体対座チェックポイントの実証評価
- Abstract要約: 完全自動ベースラインに対する2つの軽減策,即時ガードレールとHuman-in-the-loop(HITL)チェックポイントを評価した。
制御された実験 (10 は x 2 のジョブ記述 x 3 の繰り返し x 3 の条件を再開する; 180 回の実行) において、ベースラインは出力の96.7%で少なくとも 1 つのクレームを生成した。
介入として、ガードレールは不急な補完的な追加と格付けのインフレーションを安価に排除し、チェックポイントは最も深刻な障害に対するほぼカテゴリー的な保証を与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-stage LLM hiring pipelines (resume improvement, interview question generation, answer feedback) can fabricate credentials, inflate qualifiers, and invent experience. We evaluate two mitigations, prompt guardrails and human-in-the-loop (HITL) checkpoints, against a fully automated baseline. In a controlled experiment (10 synthetic resumes x 2 job descriptions x 3 repetitions x 3 conditions; 180 runs), the baseline (C1) produced at least one unsupported claim in 96.7% of outputs (mean 6.80 findings/output). Prompt guardrails (C2) reduced finding density by 86% (6.80 to 0.92/output), but 50.0% of outputs still contained a fabrication, showing prompt-level mitigation alone is insufficient. A human checkpoint after resume improvement (C3) eliminated all identity fabrications, reduced finding density by 59% (6.88 to 2.82/output), reduced item-level fabrication from 96.7% to 75.0% (p=.022), and cut capture of JD-embedded trap requirements from 47% to 2% (vs. 5% under the guardrail). An exploratory analysis of multi-specialty resumes shows contamination rising monotonically with domain distance between specialties, suggesting career changers are especially exposed. The reviewer in this study caught all flagrant fabrications, but subtle qualifier drops and plausible new claims survived review roughly half the time (54.5% removal). Neither mitigation degraded the deliverable: claim retention exceeded 99% under both. The interventions are complementary: the guardrail eliminates unprompted additions and qualifier inflation cheaply, while the checkpoint gives near-categorical guarantees against the most severe failures, invented identities and JD-baited claims. These results support a layered architecture combining guardrails with a human checkpoint. A supplementary run with a newer-generation model (90.0% baseline fabrication rate) suggests the problem is not resolved by model progress alone.
- Abstract（参考訳）: マルチステージのLLM採用パイプライン(改善例、インタビュー質問生成、回答フィードバック)は、資格情報を作成し、資格をインフレーションし、経験を創出することができる。
完全自動ベースラインに対する2つの軽減策,即時ガードレールとHuman-in-the-loop(HITL)チェックポイントを評価した。
制御された実験(総合的に x 2 のジョブ記述を x 3 の繰り返しを x 3 の条件で再開する; 180 回の実行)において、ベースライン (C1) は出力の96.7%(平均6.80 の発見/出力)で少なくとも1つのクレームを生成した。
プロンプトガードレール(C2)は発見密度を86%(6.80から0.92/アウトプット)削減したが、出力の50.0%は依然として製造物を含んでおり、急速レベルの緩和だけでは不十分であった。
再開後のチェックポイント(C3)では、すべてのID製造を廃止し、発見密度を59%(6.88から2.82/output)、アイテムレベルの製造を96.7%から75.0%(p=.022)に減らし、JD埋め込みトラップの要求を47%から2%(ガードレールの下では5%)に減らした。
複数分野の履歴書の探索的分析は、専門分野間のドメイン距離と一元的に上昇する汚染を示し、特にキャリアチェンジャーが露出していることを示唆している。
この研究のレビュアーは、全ての顕著な製造品を入手したが、微妙な修飾剤の落下と、ほぼ半分の時間(54.5%の除去)で新しい主張が生き残った。
どちらの緩和も成果を低下させておらず、クレームの保持率はどちらも99%を超えた。
これらの介入は相補的なもので、ガードレールは不急な追加と適格化のインフレを安価に排除し、チェックポイントは発明されたアイデンティティやJDベイドのクレームなど、最も深刻な障害に対してほぼカテゴリー的に保証する。
これらの結果は、ガードレールと人間のチェックポイントを組み合わせた階層アーキテクチャをサポートする。
新世代モデル(ベースライン製造率90.0%)による補足走行は,モデル進行だけでは解決されないことを示唆している。
関連論文リスト
- Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳（メタデータ） (2026-09-23T17:54:01Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Constrained Path Reasoning: Measuring When Committed Stages Earn Their Cost [2.9867974725783113]
Constrained Path Reasoning (CPR)は、ソース認識パス仮説とステージレベルの会計とをペアリングする。
CPRは、タスク互換のコミットメントは、移行を分解し、候補の質量を集中し、正規性を誘導し、そのゲインが宣伝されたエラーや実行コストを超えたときにフィードバックを公開することができると予測している。
論文 参考訳（メタデータ） (2026-07-19T13:11:18Z) - Where Does Agent Reliability Come From? A Cross-Benchmark Decomposition of Verification Loops, Specialist Models, and Scaffolding in a Production Enterprise Agent [0.0]
アーキテクチャが検証ループをインストールする1つのプロダクションシステムについて検討する。
ループの端から端までを計測し、経験的検証器混同行列を生成する。
論文 参考訳（メタデータ） (2026-07-19T03:20:33Z) - RAIL Guard: Closing the Evaluation-to-Remediation Gap in Responsible AI for LLM Agents [0.0]
RAIL GuardはクローズドループによるAIパイプラインである。
繰り返し出力をアセスメント・リライト・リ評価ループで更新する。
SystemはオープンソースSDKとして利用できる。
論文 参考訳（メタデータ） (2026-05-28T21:23:49Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - ReFlect: An Effective Harness System for Complex Long-Horizon LLM Reasoning [5.523132953818281]
本稿では,LLM推論のためのシステムであるReFlectについて述べる。
6つの推論領域にまたがる制御された実験により、100個の監査された反射ブロックのうち90個の問題にフラグを付けない、プロンプトレベルの自己批判が公式テンプレートを生成することが示された。
我々のReFlectハーネスは, GPT-4o-miniで41%, Claude Sonnet 4.5で56%のタスク成功率を実現している。
論文 参考訳（メタデータ） (2026-05-07T06:29:34Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。