論文の概要: What Do LLM Judges Actually Verify? Matched Controls and Record Gaps for Document Currency
- arxiv url: http://arxiv.org/abs/2611.01311v1
- Date: Sat, 31 Oct 2026 22:19:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.46457
- Title: What Do LLM Judges Actually Verify? Matched Controls and Record Gaps for Document Currency
- Title（参考訳）: LLM判事は実際に何を検証しているのか? 文書通貨の一致した制御と記録のギャップ
- Abstract要約: IETF RFCインデックスからの48の置換について、審査員は、ほぼすべての置換された引用を正しいレコードとして取得した。
ほとんどのミスは見つからなかったが、競合コードによる探索的な実行では、ジェミニだけが頻繁にそれを使用した。
どちらのテキストでも、審査員は更新から置き換えを指示することが多い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM judges often check, against an amendment record, whether the documents an answer cites are still in force. Such records are rarely complete. From a table of replacements, our test generates matched answers citing a replaced document, its successor, the replaced document before its replacement, and an older document that a newer one updated without replacing; it removes links from the record and scores each finding by its stated reason. On 48 replacements from the IETF RFC index, judges given a correct record caught nearly every replaced citation, as a lookup would. On the 24 faults whose link we removed, every judge caught more from the texts alone than with the record: Gemini 3.1 Pro 23/24 against 1/24, GPT-5.5 23/24 against 9/24, Claude Opus 4.5 17/24 against 9/24 and Gemma 4 26B 13/24 against 0/24. The drop recurred on a second draw of removed links. Most misses carried no finding; in an exploratory run with a conflict code, only Gemini used it often. Rewording the gap as "no replacement recorded" did not help; presenting the record as an unverified note, or warning that it was incomplete, restored most lost catches for Gemini, GPT-5.5 and Claude (significant after correction for the first two) but at most 5 of 13 for Gemma; where catches returned, so did false alarms on updates. With both texts, judges mostly told replacements from updates; every update flagged had a near-identical title. A descriptive case study on Indian rooftop-solar rules is appended; we release the harness.
- Abstract（参考訳）: LLM判事は、回答を引用する文書がまだ有効であるかどうかを、修正記録に対してチェックすることが多い。
このような記録はめったに完成しない。
代替の表から、我々のテストは、置換された文書、置換された文書、置換前の置換された文書、新しい文書を置き換えずに更新した古い文書を引用して一致した回答を生成します。
IETF RFCインデックスからの48の置換について、審査員は、ルックアップのように、ほぼすべての置換された引用を捕捉した正しいレコードを与えられた。
Gemini 3.1 Pro 23/24が1/24、GPT-5.5 23/24が9/24、Claude Opus 4.5 17/24が9/24、Gemma 4 26B 13/24が0/24である。
ドロップは削除されたリンクの2番目の引き分けで繰り返された。
ほとんどのミスは見つからなかったが、競合コードによる探索的な実行では、ジェミニだけが頻繁にそれを使用した。
ギャップを「代替記録なし」と表現することは役に立たず、未確認のメモとして記録を提示したり、ジェミニ、GPT-5.5、クロード(最初の2回の修正後に重要な)のほとんどを復元した。
どちらのテキストでも、審査員は更新から置き換えを指示することが多い。
インドの屋上・屋根の規則に関する記述的ケーススタディを付加し,ハーネスを解放する。
関連論文リスト
- LEANGUARD: Lean-Verified Guardrails for Tool-Using Agents [40.01021473111788]
LeanGuardは、呼び出しが環境に到達する前にLean4で書かれたポリシーに対して提案されたすべてのツールコールをチェックする。
フィードバックにより、エージェントは違反したルールとヒントを受け取る。
証明誘導による修復により、リーンプログラミングはユーザの意図を守り、ポリシーがそれを認めることを証明する、近くの呼び出しを検索する。
論文 参考訳（メタデータ） (2026-11-02T00:26:48Z) - When Retrieval Is Not Enough: Obsolete Facts in Agent Memory [1.2441492329024852]
メモリエージェントベンチマークは、検索と回答生成を1つのスコアに分解する。
本稿では,MemoryAgentBenchの単一ホップFactConsolidationタスクについて検討する。
論文 参考訳（メタデータ） (2026-10-26T21:30:26Z) - Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents [47.31799993604283]
TeSearchは、品質多様性の進化アルゴリズムを用いて、小さくて強いテストスイートを検索する。
129の現実世界のモジュールと3つのバックボーンで、TeSearchはどんなメソッドでも最高品質のスイートを提供する。
リポジトリのテストでは、59.9%の動作変更リライトが25.3%に対して、偽アラームレートが4.0%、決定毎に3.5秒で拒否されている。
論文 参考訳（メタデータ） (2026-10-11T22:36:54Z) - Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls [0.0]
本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
論文 参考訳（メタデータ） (2026-09-29T17:04:18Z) - When Is a Multi-Agent Code Judge Actually Grounded? Two Label-Free Measurements, and a Judge That Declines to Guess [1.3063136334195182]
ある言語モデルが、ある言語のコードが正しいかどうかを判断するとき、証拠がないことを報告しない。
これらの手法には2つの証拠が必要であると我々は主張する:それはレビュー中の回答とは独立していなければならないし、比較される2つの候補との違いである。
MARCHは80以上の条件・バイ・セル測定を無修正で公開したフレームワークであり,78～95%の比較において,両者の解が等しく良いことを宣言している。
論文 参考訳（メタデータ） (2026-09-23T23:19:59Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳（メタデータ） (2026-09-17T10:51:37Z) - Exact Record Omission in Delta Attention: A Transport Criterion, Its Cost, and a Replay Certificate [0.16921396880325776]
アシスタントは削除されたステートメントを繰り返すのをやめることができるが、そのリカレントメモリはそのステートメントの影響をまだ受けている。
我々は、記録後すぐに状態差を保存し、後続の更新を通じてこのレシートを転送し、同じ会話から構築された状態と、省略されたレコードとの補正を比較することで、この区別を検証した。
我々はこの基準を40の予測選択された合成キミ線形文脈上の11の条件に接続する。
論文 参考訳（メタデータ） (2026-09-06T23:25:58Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique [36.96848724920411]
我々は、見えないUnicode文字を文書に埋め込むテキスト保存型透かしフレームワークを導入する。
我々は50の文書を微調整した後の応答を検出する際に0.1%未満の失敗率を実験的に観察した。
100%TPR@0% FPRに対応する18,000以上の課題において、突発的な回答は得られなかった。
論文 参考訳（メタデータ） (2025-10-07T08:34:08Z) - Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。
我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。
私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
論文 参考訳（メタデータ） (2025-03-06T23:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。