論文の概要: Beyond Scores: Understanding LLM-as-a-Judge Mechanisms in Summarization Evaluation

• arxiv url: http://arxiv.org/abs/2609.01604v1
• Date: Tue, 01 Sep 2026 17:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.945324
• Title: Beyond Scores: Understanding LLM-as-a-Judge Mechanisms in Summarization Evaluation
• Title（参考訳）: スコアを超えて:要約評価におけるLCM-as-a-Judgeメカニズムの理解
• Authors: Himil Vasava, Ming Jiang,
• Abstract要約: 評価者が自然言語生成(NLG)の品質に評価を割り当てる内部手続きについて検討する。 エラー強度と明示的なトークンレベルの修正マップを制御したクリーンで汚い要約を生成する生成パイプラインを実装した。 微調整はパイプラインをスクラッチから構築するのではなく,既存の基板を彫刻することを示す。
• 参考スコア（独自算出の注目度）: 4.139666750014205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based evaluators of natural language generation (NLG) quality are widely deployed as scoring tools and as automated training signals, yet the internal procedure by which they assign a rating remains poorly understood. We investigate this procedure mechanistically through an eight-attack perturbation taxonomy across the Readability and Adequacy dimensions of NLG quality, a generation pipeline that produces paired clean and corrupt summaries with controlled error intensity and explicit token-level modification maps, and a four-experiment battery of causal tracing, logit-lens vocabulary projection, and attention-head knockout applied to Themis (Llama-3-8B) and Prometheus (Mistral-7B). Both evaluators implement a structured, coherent evaluation pipeline operating in two stages: below layer 15, attention performs local error comparison and routes the result to the final input position; above it, the MLP cascade integrates the signal and writes the rating, with the decision crystallizing in the residual stream at a sharp late layer (L = 26 on Themis, L = 25 on Prometheus). Furthermore, a base-model control at the same scale (Llama-3-8B) reproduces the routing architecture and crystallization but not the stage separation, isolating the two mechanisms that fine-tuning specifically installs, suppression of below-L15 MLP contribution at the last position and a two-layer advance of the crystallization depth, indicating that fine-tuning sculpts an existing substrate rather than building the pipeline from scratch. We release the source code and data at https://github.com/himil-v/judge-mech
• Abstract（参考訳）: LLMベースの自然言語生成(NLG)品質評価器は、スコアリングツールや自動トレーニング信号として広くデプロイされているが、評価を割り当てる内部手順はよく理解されていない。 提案手法は,NLG品質の可読性および妥当性の8段階にわたる摂動性分類,誤り強度と明示的なトークンレベルの修正マップを制御したクリーンで汚いサマリーをペアで生成する生成パイプライン,因果トレース,ロジットレンズボキャブラリ投射,テミス (Llama-3-8B) とプロメテウス (Mistral-7B) に適用したアテンションヘッドノックアウトの4つの実験バッテリを用いて,機械的に検討した。 両評価器は、2段階の構造化されたコヒーレント評価パイプラインを実装しており、下層15では、アテンションが局所誤差比較を行い、最終入力位置にルーティングする。さらに、MLPカスケードは信号を統合して評価を書き、残留ストリームを鋭い後期層(テミスではL = 26、プロメテウスではL = 25)で結晶化する。 さらに、同一規模のベースモデル制御(Llama-3-8B)は、ルーティングアーキテクチャと結晶化を再現するが、ステージ分離は行わず、微調整特異的に設置する2つのメカニズムを分離し、最終位置におけるL15MLP以下のコントリビューションの抑制と結晶化深さの2層前進を図り、微調整がパイプラインをスクラッチから構築するよりも既存の基板を彫刻することを示す。 ソースコードとデータはhttps://github.com/himil-v/judge-mechで公開しています。

関連論文リスト

• CausalGate: Causal Importance Distillation for Transformer Module Pruning [0.0]
  CausalGateは、計算効率の良いランタイム推論のための介入誘導フレームワークである。 最終ロジット分布のKullback-Leibler分散による意味的損傷を測定する。 動的ルーティングやレイヤスキャッピングベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-07-21T20:19:59Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Route-Induced Density and Stability (RIDE): Controlled Intervention and Mechanism Analysis of Routing-Style Meta Prompts on LLM Internal States [10.639846833695806]
  我々は,アクティベーション空間,(C2)ドメインキーワードの注意,(C3)予測エントロピーと意味的変動による出力安定性を定量化する。 ルーティング設計の校正と不確実性推定のための診断プローブとしてRIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-31T03:19:36Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。