論文の概要: VIGIL: Verifier-Informed Gated Improvement Loop for Spreadsheet Question Answering
- arxiv url: http://arxiv.org/abs/2610.04287v1
- Date: Sat, 03 Oct 2026 04:41:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:55:15.567843
- Title: VIGIL: Verifier-Informed Gated Improvement Loop for Spreadsheet Question Answering
- Title（参考訳）: VIGIL: スプレッドシート質問応答のための検証インフォームド・ゲート改善ループ
- Abstract要約: 企業エージェントは、すべての修正がシステムの振る舞いを書き換えることなく、遅延したフィードバックから改善すべきである。
コーパスレベルのスプレッドシート質問応答に対する連続的ハーネス学習について検討した。
金のワークブックと期待されたタイプが供給されたことにより、アンゲートとデュアルゲートのフルリプレイは79の文書に対して82.4%と82.0%の精度に達した。
- 参考スコア（独自算出の注目度）: 6.4443425508730625
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Enterprise agents should improve from delayed feedback without allowing every correction to rewrite system behavior. We study continual harness learning for corpus-level spreadsheet question answering. Building on FiCo (Find-then-Compute), a static retrieval-and-execution backbone, we introduce VIGIL (Verifier-Informed Gated Improvement Loop). Within a question, VIGIL verifies and repairs diversely prompted Structured Query Language (SQL) candidates. Across episodes, delayed labels update only a contract calibrator and query/result-column selector. The base model, prompts, retriever, and recorded candidate pool remain fixed in the continual-learning protocol. With the gold workbook and expected type supplied, the ungated and dual-gated full-replay variants reach 82.4% and 82.0% forward accuracy over 79 documents, from a 75.8% static baseline. The dual gate has the larger retrospective gain (2.7 versus 2.3 points), and its 6.3-point forward gain has a 95% t-interval of 5.6-6.9. In a separate stricter split that excludes 16 documents and 380 questions from fitting and online promotion, the accuracy-only gate raises mean held-out accuracy across ten final harnesses from 80.3% to 86.7%. Calibrator-only adaptation gains 5.9 points, close to the combined 6.4-point gain. Yet three of 26 gate-approved updates reduce held-out accuracy relative to their incumbents, so replay-buffer non-regression does not imply held-out non-regression. MiMoTable and external-task case studies test within-task verification and reuse the same promote-or-retain discipline. Overall, the results support bounded, auditable harness adaptation while revealing where finite replay gates fail to generalize beyond their promotion buffers.
- Abstract（参考訳）: 企業エージェントは、すべての修正がシステムの振る舞いを書き換えることなく、遅延したフィードバックから改善すべきである。
コーパスレベルのスプレッドシート質問応答に対する連続的ハーネス学習について検討した。
静的検索・実行バックボーンFiCo(Find-then-Compute)上に構築したVIGIL(Verifier-Informed Gated Improvement Loop)を紹介する。
質問の中で、VIGILは様々な方法で構造化クエリ言語(SQL)候補を検証し、修復する。
エピソード全体で、遅延ラベルは、コントラクトキャリブレータとクエリ/レスポンス列セレクタのみを更新する。
ベースモデル、プロンプト、レシーバー、記録された候補プールは継続学習プロトコルで固定されている。
金のワークブックと期待されたタイプが供給されたことにより、アンゲートとデュアルゲートのフルリプレイ版は79の文書に対して82.4%と82.0%の精度に達し、75.8%の静的ベースラインとなった。
デュアルゲートは2.7対2.3ポイントのリフレクションゲインを持ち、6.3ポイントのフォワードゲインは95%Tインターバル5.6-6.9である。
16の文書と380の質問をオンラインのプロモーションから除外する別の厳格な分割では、精度のみのゲートは10個の最終ハーネスの平均保持精度を80.3%から86.7%に引き上げている。
キャリブレータのみの適応は5.9ポイント、合計6.4ポイントに近い。
しかし、26のゲート承認更新のうち3つのアップデートは、既存の更新に対してホールドアウトの精度を低下させるため、リプレイバッファの非回帰は、非回帰を示唆しない。
MiMoTableおよび外部タスクケーススタディは、タスク内検証をテストし、同じプロモーターまたは持続的な規律を再利用する。
全体として、結果はバウンダリで監査可能なハーネス適応をサポートしながら、有限再生ゲートがプロモーションバッファを超えて一般化できないことを明らかにする。
関連論文リスト
- Teaching Agents to Code Reliably [12.841316191115778]
リポジトリの問題を解決するために、自律的なコーディングエージェントを訓練する方法を示す。
トレーニングがこれらの行動を政策にどう移行するかを示す。
パス@1から43.0%に上昇し、パス@8から60.7%に上昇し、検証精度を26.8%から41.7%に引き上げる。
論文 参考訳（メタデータ） (2026-10-02T19:47:19Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - Vestrum: Improving Agent Harnesses by Adapting Their Verification, Structure and Memory [3.9869112484157037]
エージェントは、言語モデルがどのように情報にアクセスし、ツールを使用し、メモリを保存し、その作業をチェックするかを制御する。
Vestrumは、実行中の障害トレースをタスクモデルをトレーニングせずにスコープ付きハーネス変更に変換するフレームワークです。
論文 参考訳（メタデータ） (2026-09-27T18:20:51Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA [0.4351760066527804]
検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。
我々は、隠れた現象の正確さを正解とみなし、クロスショットの相違から反則を減じて過剰な解答を推定するemphSnapshot Compatibility Auditを導入する。
論文 参考訳（メタデータ） (2026-08-24T06:40:09Z) - Reachability Is Not Realization: Tracing the Sources of LLM Benchmark Gains [15.723674503598948]
モデルは、新しい回答に到達したり、既に到達範囲内にあった回答を生成できる。
我々は,一定の予算,温度,回答形式の下で質問レベルの監査を行う。
まず、推論時層ルーティングが到達可能性を高めるかどうかを検証する。
論文 参考訳（メタデータ） (2026-08-04T06:52:27Z) - Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。
キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。
エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
論文 参考訳（メタデータ） (2026-07-30T22:32:14Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。