論文の概要: Circe: Training-Free LLM Self-Evaluation via Component Interaction Consistency

• arxiv url: http://arxiv.org/abs/2611.07948v1
• Date: Thu, 05 Nov 2026 12:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.687315
• Title: Circe: Training-Free LLM Self-Evaluation via Component Interaction Consistency
• Title（参考訳）: Circe: コンポーネント間相互作用による無トレーニングLDM自己評価
• Abstract要約: Circeは、内部信号と外部信号の両方を用いて応答を評価する、トレーニング不要な自己評価手法である。 コンポーネント間相互作用の整合性 (CIC) を導入し, 先行層における注目更新と後層における注目誘起FFN出力変化の方向性の整合性を測定する。 外部信号に対して、生成したトークンの平均負の対数類似度を有界信頼度(LC)スコアに変換する。
• 参考スコア（独自算出の注目度）: 45.28966913198778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed in real-world applications, evaluating the correctness of their responses is crucial for reliable use. However, such evaluation is challenging because reference answers are rarely available in practice. Existing reference-free methods mainly rely on output signals, which may assign high scores to incorrect responses and thus do not necessarily reflect correctness. This motivates exploring the model's internal computation for complementary correctness signals. Recent studies exploit internal states, but they mainly analyze hidden-state trajectories across layers, which record only the combined updates of attention and feed-forward networks (FFNs) and overlook how these components interact. We therefore propose Circe, a training-free self-evaluation method that assesses a response using both internal and external signals, without reference answers or repeated sampling. For internal signals, we first introduce component interaction consistency (CIC), which measures the directional alignment between attention updates in earlier layers and attention-induced FFN output changes in later layers. We further incorporate representation geometry (RG) to characterize normalized displacement and angular changes along layerwise hidden-state trajectories. For the external signal, we convert the mean negative log-likelihood of generated tokens into a bounded likelihood confidence (LC) score. Finally, we fuse CIC, RG, and LC into a unified correctness score. Experiments on five LLMs and six benchmarks across four domains show that our method distinguishes correct from incorrect responses more effectively than existing baselines, and generalizes to multilingual, multimodal, and open-world settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界のアプリケーションにますますデプロイされるにつれて、その応答の正しさを評価することは、信頼性の高い使用に不可欠である。 しかし,実際は参照回答がほとんど得られないため,このような評価は難しい。 既存の参照なしの手法は主に出力信号に依存しており、これは高いスコアを誤った応答に割り当てることができ、必ずしも正確さを反映しない。 これはモデルの内部計算を補完的な正当性信号として探索する動機である。 近年の研究は内部状態を利用しており、主に層をまたいだ隠れ状態の軌跡を分析しており、注意とフィードフォワードネットワーク(FFN)の統合更新のみを記録し、これらのコンポーネントがどのように相互作用するかを見落としている。 そこで本研究では,内部信号と外部信号の両方を用いて,参照応答や繰り返しサンプリングを伴わずに応答を評価する,学習不要な自己評価手法であるCirceを提案する。 内部信号に対して、まずコンポーネント間相互作用整合性(CIC)を導入する。これは、前層における注意更新と後層における注意誘発FFN出力変化との方向整合性を測定する。 さらに表現幾何学(RG)を取り入れて、正規化された変位と層状隠れ状態軌道に沿った角変化を特徴付ける。 外部信号に対して、生成したトークンの平均負の対数類似度を有界信頼度(LC)スコアに変換する。 最後に,CIC,RG,LCを統一的正当性スコアに融合する。 4つの領域にまたがる5つのLSMと6つのベンチマーク実験により,提案手法は既存のベースラインよりも効率的に不正確な応答を識別し,多言語,マルチモーダル,オープンワールド設定に一般化することを示した。

関連論文リスト

• Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents [0.0]
  単ターンUQ手法の3つの共通ファミリーが対話的軌道設定に遷移するかどうかを検討する。 転送はしばしば有用であるが、不均一であることがわかった。 トークン確率スコアは、各ターンで使用されるアグリゲータの選択に非常に敏感である。 ブラックボックスの自己整合性はしばしば最強のUQファミリーであり、軌跡等価性とアクションセットの整合性は変種の中では最高である。
  論文  参考訳（メタデータ） (2026-08-12T01:39:28Z)
• PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
  Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。 近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。 一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。 本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:18Z)
• G-Drift MIA: Membership Inference via Gradient-Induced Feature Drift in LLMs [1.8986796884429726]
  メンバーシップ推論攻撃(MIA)は、トレーニング中に特定の例が使用されたかどうかを判断することを目的としている。 G-Drift MIAは,勾配誘起特徴量ドリフトに基づくホワイトボックスメンバシップ推論手法である。 G-Driftは信頼性ベース、パープレキシティベース、参照ベースアタックを大きく上回る。
  論文  参考訳（メタデータ） (2026-04-01T03:01:27Z)
• Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking [40.652380579951206]
  In-Context Re- rank (ICR) は、最近$O(1)$代替メソッドとして提案されている。 ICRは内部の注意信号を直接抽出し、テキスト生成のオーバーヘッドを回避する。 統一的な研究は、内部の注意を従来の生成的および可能性に基づくメカニズムと比較していない。
  論文  参考訳（メタデータ） (2026-02-26T03:51:31Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• COMPASS: Context-Modulated PID Attention Steering System for Hallucination Mitigation [2.1521364454860525]
  モデルベースのフィードバックループをデコードに直接埋め込む軽量で解釈可能な制御フレームワークを導入する。 本研究では,PIDコントローラが動的にアテンションヘッドを変調して,リトレーニングやマルチパス復号を行うことなく,現実の一貫性を維持することを示す。
  論文  参考訳（メタデータ） (2025-11-05T05:30:28Z)
• REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering [26.428347164111926]
  推論時ステアリングは、パラメータを変更することなく、大きな言語モデルの応答を変更することを目的としている。 既存のアプローチはしばしば単純化的なキューやアドホックな一般化に依存している。 本稿では,Transformerモデルにおける振る舞い関連モジュールを識別するフレームワークであるREALを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T02:16:50Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Parallel Key-Value Cache Fusion for Position Invariant RAG [55.9809686190244]
  大規模言語モデル(LLM)は、コンテキスト内の関連する情報の位置に敏感である。 入力コンテキスト順序に関係なく,デコーダのみのモデルに対して一貫した出力を生成するフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-01-13T17:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。