論文の概要: LLM-as-a-Judge Scores Are Unreliable Optimization Signals in Closed-Loop Table Recognition

• arxiv url: http://arxiv.org/abs/2607.13347v2
• Date: Thu, 16 Jul 2026 21:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 13:50:44.296831
• Title: LLM-as-a-Judge Scores Are Unreliable Optimization Signals in Closed-Loop Table Recognition
• Title（参考訳）: LLM-as-a-Judgeスコアは閉ループテーブル認識における信頼できない最適化信号である
• Abstract要約: 決定論的TEDS評価は、FinTabNetとOmniDocBenchを使って制御されたテストベッドを提供する。 判定信号は両方のデータセットで弱かった。 厳しい損害は 特定の判事のフィードバックなしに 発生しました
• 参考スコア（独自算出の注目度）: 19.651323641444726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-as-a-judge is widely used to provide feedback and selection signals in closedloop regeneration, but this use remains insufficiently validated. We study it in table recognition, where deterministic TEDS evaluation provides a controlled testbed, using FinTabNet and OmniDocBench. Three findings emerge. First, judge signals were weak on both datasets: scores frequently tied, rankings were not reproducible, and no tested judge score policy, whether selecting among candidates or accepting revisions under a conservative score margin, improved on the first output on both datasets. Iteration produced better candidates, but the judge recovered them at most partially on one dataset and not at all on the other. Second, severe losses occurred even without specific judge feedback, supporting target-preservation failure under unconstrained regeneration as a proximate mechanism. Third, a structure-preserving instruction reduced the severe-loss rate, significantly on FinTabNet and directionally on OmniDocBench, but produced no improvement, and in an exploratory 2x2 analysis this protection was not stably observed when judge feedback was retained. These results do not dispute the value of LLMs as evaluators, but show that the tested reference-free judge signals were too weak and unstable to drive candidate selection in this setup, and that evaluation-style evidence alone was insufficient to establish closed-loop optimization utility. Iterative refinement requires, at minimum, a verification signal that deterministically detects structural change, rather than judge scores alone.
• Abstract（参考訳）: LLM-as-a-judgeは、クローズループ再生においてフィードバックと選択信号を提供するために広く使用されているが、この使用は十分に検証されていない。 我々は、FinTabNetとOmniDocBenchを用いて、決定論的TEDS評価が制御されたテストベッドを提供するテーブル認識でそれを研究する。 3つの発見がある。 まず、判定信号は両方のデータセットで弱く、スコアは頻繁に結び付けられ、ランキングは再現不可能であり、審査された判定スコアポリシーは、候補の中から選択するか、保守的なスコアマージンの下で修正を受けるかにかかわらず、両方のデータセットでの最初のアウトプットで改善された。 イテレーションはより優れた候補を生み出したが、裁判官は少なくとも部分的には1つのデータセットで回収し、もう1つのデータセットでは回収しなかった。 第2に、特定の裁判官のフィードバックなしでも重大な損失が発生し、非拘束再生下での目標保存障害を近接メカニズムとして支援した。 第3に、構造保存命令は、FinTabNetとOmniDocBenchで顕著に高いロス率を低下させたが、改善は得られず、探索的な2x2分析では、この保護は、裁判官のフィードバックが保たれたときに安定して観察されなかった。 これらの結果は, 評価器としてのLLMの価値に反するものではないが, 試験された基準自由判定信号は弱く不安定であり, 候補選択を駆動できないこと, 評価式エビデンスだけでは閉ループ最適化ユーティリティを確立するには不十分であることを示す。 反復的な改善には、最低でも、スコアのみを判断するのではなく、決定論的に構造的変化を検出する検証信号が必要である。

関連論文リスト

• A Controlled Audit of Architectural Complexity in Uncertainty-Aware Multi-Organ Ultrasound Classification [19.598719060464866]
  多臓器超音波分類器は、注意力、熟練者の混在、不確実性ゲーティング、そして明らかな深層学習(EDL)の目的を組み合わさりつつある。 本稿では,最大公示候補であるFull-EDLと簡易な代替品との展開決定に応用した,制御された複雑性監査フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-28T08:30:43Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• MCJudgeBench: A Benchmark for Constraint-Level Judge Evaluation in Multi-Constraint Instruction Following [8.500414706731036]
  本稿では,制約レベル判定のベンチマークであるMCJudgeBenchを紹介する。 各インスタンスには、命令、候補応答、明示的な制約リスト、Yes、部分的、ノー、制御された応答側の摂動を含む。 我々は、正確性と矛盾性の両方の指標を用いて、プロプライエタリかつオープンソースのLCM審査員を評価した。
  論文  参考訳（メタデータ） (2026-05-05T15:20:42Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• Re-Rankers as Relevance Judges [65.37611299805856]
  再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。 TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
  論文  参考訳（メタデータ） (2026-01-08T00:02:59Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
  CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。 CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-07-12T01:34:24Z)
• Judging LLMs on a Simplex [2.088672652658465]
  一般的な実践は、大言語モデル(LLM)自体を裁判官として使用することであるが、このアプローチの理論的性質はまだよく理解されていない。 判定と候補の両方を確率的単純度上の点として表現する幾何学的枠組みは,何であるか,何であるかを識別できないのか,有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2025-05-28T04:50:41Z)
• Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
  推論(Reasoning)とは、証拠を使って結論に達する認知過程である。 近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。 テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
  論文  参考訳（メタデータ） (2023-09-05T11:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。