論文の概要: StepGap: A Hybrid NLI-LLM Checker for Step-Level Evidence-Gap Detectionin Multi-Hop Question Answering

• arxiv url: http://arxiv.org/abs/2605.24733v1
• Date: Sat, 23 May 2026 20:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.353068
• Title: StepGap: A Hybrid NLI-LLM Checker for Step-Level Evidence-Gap Detectionin Multi-Hop Question Answering
• Title（参考訳）: StepGap: マルチホップ質問応答におけるステップレベルエビデンス・ギャップ検出のためのハイブリッドNLI-LLMチェッカー
• Abstract要約: StepGapは、マルチホップQAにおけるステップレベルのエビデンスギャップを検出するハイブリッドNLI-LLM決定ツリーである。 Qwen2.5-7B-Instruct Exact Matchを32.1pm0.3$から35.4pm0.9$に改良した。
• 参考スコア（独自算出の注目度）: 28.730693625995215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present \textbf{StepGap}, a hybrid NLI-LLM decision tree that detects step-level evidence gaps in multi-hop QA and emits one of three typed labels: \textsc{Contradicted Claim} (CC), \textsc{Irrelevant Evidence} (IE), or \textsc{Missing Bridge} (MB), each tied to a concrete repair action. On 82 multi-hop questions (181 annotated steps, $κ{=}0.704$), StepGap reaches sF1$=$72.0, within the bootstrap confidence interval of an LLM-only baseline (70.1) but with a more decomposable structure: every StepGap stage \emph{hurts} F1 when removed, while three of four LLM-only removals \emph{improve} F1 -- a sign of \emph{competing-error cancellation}, where internal stages mask each other's errors. We further expose a \emph{Q-F1 trap}: question-level F1 is mechanically inflated by checkers that flag every step, making step-level F1 the necessary diagnostic. Used as a typed GRPO process reward, StepGap improves Qwen2.5-7B-Instruct Exact Match from $32.1{\pm}0.3$ to $35.4{\pm}0.9$ across three seeds, with the single-run comparison showing a $+5.6$ Avg EM gain over the matched Search-R1 GRPO reproduction.
• Abstract（参考訳）: マルチホップQAにおけるステップレベルのエビデンスギャップを検出するハイブリッドNLI-LLM決定木である \textbf{StepGap} は,3種類のラベルの1つを出力する: \textsc{Contradicted Claim} (CC), \textsc{Irrelevant Evidence} (IE), \textsc{Missing Bridge} (MB)。 82のマルチホップ質問 (181 の注釈付きステップ、$κ{=}0.704$) では、StepGap は LLM のみのベースライン (70.1) のブートストラップ信頼区間内で sF1$=$72.0 に達するが、より分解可能な構造を持つ: 全ての StepGap ステージ \emph{hurts} F1 は削除され、4つの LLM のみの削除のうち 3 つは \emph{improve} F1 である。 質問レベルF1は、各ステップにフラグを付けるチェッカーによって機械的に膨らませられ、ステップレベルF1が必要とされる診断となる。 タイプされたGRPOプロセスの報酬として使用され、StepGapはQwen2.5-7B-Instruct Exact Matchを32.1{\pm}0.3$から35.4{\pm}0.9$に改善し、マッチしたSearch-R1 GRPOよりも5.6ドルのAvg EMゲインを示した。

関連論文リスト

• Ockhamareto: Pareto-Gated Segment-Level Credit Assignment for Concise Unit-Test Generation with Reinforcement Learning [64.49364696628294]
  我々は単発のGRPOフレームワークであるtextbfOckhamaretoを紹介した。 Ockhamaretoには2つの主要なコンポーネントがある: (i)emphPareto-gated Bonusは、(mutation, $-$#tests)スペースで非支配的なロールアウトのみを報酬する。
  論文  参考訳（メタデータ） (2026-08-25T12:20:02Z)
• An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
  最初の要件駆動型候補ソーシングエージェントであるsysを提示する。 それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。 広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
  論文  参考訳（メタデータ） (2026-08-24T17:04:16Z)
• Full-Key Recovery and Forgery from One MQOM v2.1 Signature [0.0]
  NIST追加署名プロセスにおけるラウンド3候補であるMQOM v2.1に対して、完全なキー回復攻撃を与える。 承認された署名から完全な署名キーを復元し、新しいメッセージにサインするためにそれを使用します。
  論文  参考訳（メタデータ） (2026-08-10T15:04:50Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization [0.21485350418225238]
  不均一なNLPタスクに展開される微調整エンコーダは、3つの複合的な問題に直面している。 textbfsurgellmは、専用の軽量モジュールでそれぞれに対処する統合トランスフォーマーフレームワークである。
  論文  参考訳（メタデータ） (2026-06-23T07:47:21Z)
• Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
  以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。 L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。 3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
  論文  参考訳（メタデータ） (2026-06-12T18:54:24Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• SkiP: When to Skip and When to Refine for Efficient Robot Manipulation [50.03201984643502]
  textbfSkip Policy (SkiP)は、スキップセグメントを動的に跳躍し、キーセグメントのアクションを集中的に洗練する。 emphMotion Spectrum Keying (MSK) は、動作信号から局所的な動きの複雑さを検出する高速でタスクに依存しない手順である。 実験によると、SkiPは実行ステップを15ドルから40%ほど削減し、さまざまなポリシーバックボーン間での成功率のマッチングや改善を実現している。
  論文  参考訳（メタデータ） (2026-05-15T02:16:34Z)
• Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines [1.9537983097153042]
  振る舞い駆動開発(BDD)ソフトウェアテストスイートは、重複したステップサブシーケンスを蓄積します。 3つのパブリッシュパターンが利用可能である(ファイルの背景、再利用可能な再利用可能なシナリオ呼び出し、組織間の共有高レベルステップ)。 繰り返し続くサブシーケンスが抽出に値するか、どのメカニズムが適用されるかを自動化する前の作業はありません。
  論文  参考訳（メタデータ） (2026-05-14T08:38:04Z)
• AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT [1.2891210250935148]
  AAC は ALT (A*, Landmarks, Triangle) のショートパスのための差別化可能なランドマーク選択モジュールである。 これは古典的な探索における圧縮時適応の伝統の最初の微分可能な例である。
  論文  参考訳（メタデータ） (2026-04-22T16:31:21Z)
• Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
  振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。 私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
  論文  参考訳（メタデータ） (2026-04-22T11:44:05Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
  LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
  論文  参考訳（メタデータ） (2026-04-20T12:29:53Z)
• PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
  大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。 textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
  論文  参考訳（メタデータ） (2026-03-30T23:52:54Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)
• Few-shot Reranking for Multi-hop QA via Language Model Prompting [56.454088569241534]
  オープンドメイン質問を用いたマルチホップQAにおける数点のリランクについて検討した。 本稿では,マルチホップパスの再ランク付けを促す大規模言語モデルに依存するPromptRankを提案する。 PromptRankは、HotpotQA上で128のトレーニング例で強力な検索性能を得る。
  論文  参考訳（メタデータ） (2022-05-25T10:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。