論文の概要: From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs
- arxiv url: http://arxiv.org/abs/2610.26650v2
- Date: Tue, 20 Oct 2026 13:48:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.359373
- Title: From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs
- Title（参考訳）: 成果からコンポーネントへ:LCMによる補修の非現実的評価フレームワーク
- Abstract要約: 大きな言語モデル(LLM)によって提案された修復アクションは、どのレコードを変更するか、どのように値を変更するかを指定する。
失敗したアクションは、2つのペアをどのように組み合わせるかによって、レコードの有用な選択や便利な更新を含む可能性がある。
適用した変更(更新)から選択したレコード(ターゲット)を分離する対実評価フレームワークを導入する。
4つの実行は提案されたターゲットと参照のターゲットを組み合わせて、各コンポーネントの修正や保持の効果を測定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A repair action proposed by a large language model (LLM) specifies which records to change and how to change their values. A failed action may still contain a useful choice of records or a useful update, depending on how the two are paired. We introduce a counterfactual evaluation framework that separates selected records (targets) from the applied change (an update). Four executions combine proposed and reference targets and updates to measure the effects of correcting or retaining each component and their interaction. We evaluate the framework on two tasks: traffic assignment, where affected demand must be identified from road counts, and database repair, where affected rows must be identified from aggregate reports. An injected fault supplies a reference action that reverses it, and the recovery rate measures an action's loss reduction relative to that reference. For sparse-target actions in the traffic experiments, retaining the proposed update on reference targets achieves 79.4% of the reference loss reduction, compared with 43.7% from tuning update strength on the proposed targets. In the database experiments, update replacement worsens 17 of 108 actions, all selecting unaffected records, with sharply different frequencies across models. The value of a proposed update depends on the targets it is paired with. Missed targets hide useful updates, while excess targets can make a milder update better than the reference correction. In a component-reuse study, testing new target-update pairings from two proposals raises mean held-out recovery rate to 0.616, compared with 0.580 when selecting between the original proposals.
- Abstract（参考訳）: 大きな言語モデル(LLM)によって提案された修復アクションは、どのレコードを変更するか、どのように値を変更するかを指定する。
失敗したアクションは、2つのペアをどのように組み合わせるかによって、レコードの有用な選択や便利な更新を含む可能性がある。
適用した変更(更新)から選択したレコード(ターゲット)を分離する反事実評価フレームワークを導入する。
4つの実行は提案されたターゲットと参照のターゲットとアップデートを組み合わせて、各コンポーネントとそのインタラクションを修正または保持する効果を測定する。
本稿では,道路数から影響を受ける需要を識別する交通割当と,集合報告から影響を受ける行を識別するデータベース修復という2つの課題について,その枠組みを評価する。
インジェクトされた障害は、それを反転させる参照アクションを供給し、リカバリレートはその参照に対してアクションの損失減少を測定する。
交通実験におけるスパースターゲット動作では、基準目標に対する更新が79.4%減少し、目標に対する更新強度が43.7%低下したのに対し、基準目標に対する更新は79.4%低下した。
データベース実験では、更新置換により108のアクションのうち17が悪化し、すべての影響のないレコードが選択される。
提案されたアップデートの価値は、ペアリングされたターゲットによって異なります。
欠落したターゲットは有用な更新を隠蔽するが、過剰なターゲットは参照修正よりも軽度に更新することができる。
コンポーネント・リユース・スタディでは,2つの提案から新たな目標更新ペアをテストした結果,元の提案を選択した場合の0.580に対して平均保留回収率が0.616に上昇した。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。
適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。
LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
論文 参考訳（メタデータ） (2026-10-08T15:49:03Z) - TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation [0.5837881923712392]
本稿では,判定から検査可能な診断へスコア変更を行うプロトコルであるTRACEを紹介する。
25の合成タスクの制御スイートでは、まったく同じ操作をしても、リネームツールはスクリプトされたエージェントのスコアを0.250下げる。
88の新しいタスクのフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツールのアウトプットが8つのエージェント-チェンジペアのうち7つに対して$pm$0.10以内の報酬に変化しない。
論文 参考訳（メタデータ） (2026-10-08T10:52:26Z) - VIGIL: Verifier-Informed Gated Improvement Loop for Spreadsheet Question Answering [6.4443425508730625]
企業エージェントは、すべての修正がシステムの振る舞いを書き換えることなく、遅延したフィードバックから改善すべきである。
コーパスレベルのスプレッドシート質問応答に対する連続的ハーネス学習について検討した。
金のワークブックと期待されたタイプが供給されたことにより、アンゲートとデュアルゲートのフルリプレイは79の文書に対して82.4%と82.0%の精度に達した。
論文 参考訳（メタデータ） (2026-10-03T04:41:40Z) - ReplayLens: Auditing Agents' Use of Outcomes [16.745093090677475]
エージェントがログ化された経験を再利用すると、変更した決定は記録されたスコア、アクション名、記憶中のレコードの位置を反映する。
ReplayLensは、保存された履歴の1つの関係を一度に変更し、残りのインターフェイスを固定し、その結果の判断を計測するブラックボックス監査である。
論文 参考訳（メタデータ） (2026-09-28T02:56:32Z) - DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。
直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。
メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
論文 参考訳（メタデータ） (2026-09-23T03:06:01Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery [8.750432529472802]
ツール使用エージェントとして機能するエージェント修正フレームワークであるRECOVERを紹介する。
複数の仮説をASRの証拠として利用し、関連するエンティティを検索し、制約の下で大言語モデル(LLM)の修正を適用する。
エンティティ・フレーズの単語誤り率(E-WER)を8～46%削減し、リコール率を最大22ポイント向上させる。
論文 参考訳（メタデータ） (2026-03-17T11:48:12Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。