論文の概要: From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs

• arxiv url: http://arxiv.org/abs/2610.26650v1
• Date: Mon, 19 Oct 2026 16:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.358679
• Title: From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs
• Title（参考訳）: 成果からコンポーネントへ:LCMによる補修の非現実的評価フレームワーク
• Abstract要約: トラヒック・ネットワークやデータベースの問題点を評価するため,アグリゲーション・オブザーバは修正が必要なレコードを隠蔽する。 114の交通行動のうち76では、両部分の補正によるゲインは、各部分の修正によるゲインの総和を超える。 データベースの修復では、提案された更新のみを参照更新に置き換えると、108のモデルアクションのうち17が悪化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM-generated repair action specifies which records to change and by how much. A failed action may still contain a useful target set or numerical update, depending on how the two are paired. We evaluate this problem in traffic networks and databases, where aggregate observations obscure the records that need correction. We examine the pairings by executing each combination from the same initial state, using a reference action that restores the affected records. In 76 of 114 traffic actions, the gain from correcting both parts exceeds the sum of the gains from correcting each part alone. Six of these actions become worse after either correction alone, but improve when both parts are corrected. In database repair, replacing only the proposed update with the reference update worsens 17 of 108 model actions, all of which select unaffected records. We also test whether parts of two proposals can be reused. On held-out observations, selecting among the proposals and their recombined target-update pairs recovers 61.6% of the reference action's loss reduction, compared with 58.0% from selecting between the proposals alone.
• Abstract（参考訳）: LLMの生成した修復アクションは、どのレコードを変更するか、どのくらい変更するかを指定する。 失敗したアクションは、どのようにペアリングされるかによって、有用なターゲットセットや数値更新を含む可能性がある。 トラフィックネットワークやデータベースでは,集合的な観測によって修正が必要なレコードが見えないため,この問題を評価する。 我々は、影響したレコードを復元する参照アクションを用いて、各組み合わせを同じ初期状態から実行することでペアリングを検証する。 114の交通行動のうち76では、両部分の補正によるゲインは、各部分の修正によるゲインの総和を超える。 いずれの修正も単独で行うと、これら6つのアクションは悪化するが、どちらの部分も修正されると改善する。 データベースの修復では、提案された更新のみを参照更新に置き換えると、108のモデルアクションのうち17が悪化する。 また、2つの提案の一部を再利用できるかどうかも検証する。 保留観察では、提案と組換えされた目標更新ペアの中から選択すると、参照アクションの損失減少の61.6%が回復し、提案間の選択から58.0%が回復する。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
  本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。 適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。 LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
  論文  参考訳（メタデータ） (2026-10-08T15:49:03Z)
• TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation [0.5837881923712392]
  本稿では,判定から検査可能な診断へスコア変更を行うプロトコルであるTRACEを紹介する。 25の合成タスクの制御スイートでは、まったく同じ操作をしても、リネームツールはスクリプトされたエージェントのスコアを0.250下げる。 88の新しいタスクのフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツールのアウトプットが8つのエージェント-チェンジペアのうち7つに対して$pm$0.10以内の報酬に変化しない。
  論文  参考訳（メタデータ） (2026-10-08T10:52:26Z)
• VIGIL: Verifier-Informed Gated Improvement Loop for Spreadsheet Question Answering [6.4443425508730625]
  企業エージェントは、すべての修正がシステムの振る舞いを書き換えることなく、遅延したフィードバックから改善すべきである。 コーパスレベルのスプレッドシート質問応答に対する連続的ハーネス学習について検討した。 金のワークブックと期待されたタイプが供給されたことにより、アンゲートとデュアルゲートのフルリプレイは79の文書に対して82.4%と82.0%の精度に達した。
  論文  参考訳（メタデータ） (2026-10-03T04:41:40Z)
• ReplayLens: Auditing Agents' Use of Outcomes [16.745093090677475]
  エージェントがログ化された経験を再利用すると、変更した決定は記録されたスコア、アクション名、記憶中のレコードの位置を反映する。 ReplayLensは、保存された履歴の1つの関係を一度に変更し、残りのインターフェイスを固定し、その結果の判断を計測するブラックボックス監査である。
  論文  参考訳（メタデータ） (2026-09-28T02:56:32Z)
• DRSR: Learning Set-Level Deletion Risk for Efficient Long-Horizon Agents [55.84813053778976]
  ロングホライゾン言語モデルエージェントは、現在の決定と関係が変化する推論の痕跡、ツール交換、観察を蓄積する。 直接セットリスクスコアは、削除セットの選択としてエージェント履歴圧縮リスクを定式化する。 メカニカル・アナリシスとアブリケーションは、決定に制約のある関係、保持されたコンテキスト情報、ペア・インタラクション、および棄権がそれぞれ信頼できるプルーニングに寄与していることを示している。
  論文  参考訳（メタデータ） (2026-09-23T03:06:01Z)
• Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
  大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。 報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。 本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
  論文  参考訳（メタデータ） (2026-08-09T22:59:13Z)
• RECOVER: Robust Entity Correction via agentic Orchestration of hypothesis Variants for Evidence-based Recovery [8.750432529472802]
  ツール使用エージェントとして機能するエージェント修正フレームワークであるRECOVERを紹介する。 複数の仮説をASRの証拠として利用し、関連するエンティティを検索し、制約の下で大言語モデル(LLM)の修正を適用する。 エンティティ・フレーズの単語誤り率(E-WER)を8～46%削減し、リコール率を最大22ポイント向上させる。
  論文  参考訳（メタデータ） (2026-03-17T11:48:12Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。