論文の概要: HSRM: Hidden-State Reward Models for Test-Time Verification

• arxiv url: http://arxiv.org/abs/2608.30841v1
• Date: Mon, 31 Aug 2026 14:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.436072
• Title: HSRM: Hidden-State Reward Models for Test-Time Verification
• Title（参考訳）: HSRM:テスト時間検証のための隠れ状態リワードモデル
• Abstract要約: 本稿では,ジェネレータの内部表現を直接読み取ることで,候補解の検証を行う軽量な隠れ状態報酬モデルHSRMを紹介する。 結果ラベルを持つ自己生成軌道から訓練され、人手によるプロセスの監督も事前訓練された大規模な検証も必要としない。
• 参考スコア（独自算出の注目度）: 26.64890710769912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can often generate plausible mathematical reasoning traces, but reliably identifying the correct solution among multiple candidates remains a key challenge. Existing test-time reasoning pipelines typically rely on text-based verifiers that re-read each generated solution, making verification an expensive component of inference. Prior work has shown, however, that LLMs often encode correctness-related signals in their internal representations, including awareness of when their own answers are likely to be wrong. Building on this observation, we introduce HSRM, a lightweight hidden-state reward model that verifies candidate solutions by directly reading the generator's internal representations rather than re-processing its text. HSRM extracts hidden states from a frozen generator at reasoning-step boundaries and uses a small Transformer encoder to rank candidates. It is trained from self-generated trajectories with outcome labels, requiring neither human-written process supervision nor a large pretrained verifier. Across four mathematical reasoning benchmarks, HSRM matches or outperforms a 55M-parameter text-only energy verifier in 15 of 16 generator--dataset settings while using only about 2M parameters, providing an efficient alternative to text-only verification by reusing representations already computed during generation.
• Abstract（参考訳）: 大規模言語モデルは、しばしば妥当な数学的推論トレースを生成することができるが、複数の候補の間で正しい解を確実に特定することは重要な課題である。 既存のテスト時間推論パイプラインは、典型的には、生成された各ソリューションを再読み込みするテキストベースの検証器に依存しており、検証は推論の高価なコンポーネントとなる。 しかし、以前の研究から、LSMは内部表現における正当性関連信号のエンコードをしばしば行っており、自己の答えが間違っている可能性が認識されている。 本報告では,テキストの再処理ではなく,ジェネレータの内部表現を直接読み取ることにより,候補解の検証を行う軽量な隠れ状態報酬モデルHSRMを紹介する。 HSRMは、推論ステップ境界における冷凍発電機から隠れた状態を抽出し、候補をランク付けするために小さなTransformerエンコーダを使用する。 結果ラベルを持つ自己生成軌道から訓練され、人手によるプロセスの監督も事前訓練された大規模な検証も必要としない。 4つの数学的推論ベンチマークにおいて、HSRMは、約2Mのパラメータしか使用せず、生成時に既に計算された表現を再利用することで、テキストのみの検証の効率的な代替手段を提供する16のジェネレータ設定のうち、55Mパラメータのテキストのみのエネルギ検証器をマッチまたは性能良くする。

関連論文リスト

• Once a Response, Always a Response: Detecting LLM-generated Text via Latent Prompt Restoration [14.631414891878878]
  大規模言語モデル (LLM) は、大規模に流動的で説得力のあるテキストを生成することができる。 これらの懸念により、機械生成テキストの堅牢な検出がますます必要になる。 本稿では,潜時プロンプト復元に基づくトレーニング不要な検出器であるEchoPromptを提案する。
  論文  参考訳（メタデータ） (2026-08-06T08:22:19Z)
• DHMark: Public-Key Watermarking for LLM-Generated Text via Diffie-Hellman-Guided Rejection Sampling [3.785115615093019]
  DHMarkは、大規模言語モデル(LLM)生成テキストのための公開鍵透かしフレームワークである。 生成中、ディフィー・ヘルマン誘導トークンラベルインターフェースは、各候補トークンに公開方程式投票を割り当てる。 第三者の検証者は、公開情報を使ってトークンの投票を抽出し、それらを方程式レベルの証拠に集約し、署名された登録記録のみをスコアする。
  論文  参考訳（メタデータ） (2026-08-04T04:08:40Z)
• Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains [27.078441680572254]
  完全に微調整されたRoBERTaは、それらのベンチマークが構築されている特殊な検出器と一致しているか、あるいは超えていることを示す。 残る課題は、分散シフトです。 分散シフトの下で、検出器は高信頼マシンラベルを人書きテキストに割り当てることができる。
  論文  参考訳（メタデータ） (2026-07-04T03:20:23Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
  機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。 MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。 本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2026-02-08T16:06:12Z)
• Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
  ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。 我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。 結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
  論文  参考訳（メタデータ） (2025-09-27T06:50:24Z)
• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• On the Query Complexity of Verifier-Assisted Language Generation [35.43462431990329]
  本研究では,事前学習した言語モデル生成器を用いて制約付き生成を推論するフレームワークを開発する。 検証者へのアクセスは、難解な問題(情報理論上または計算上)を、難解な問題にレンダリングすることができる。 トークンワイド・リジェクション・サンプリングのような単純なアルゴリズムでさえ、検証器へのアクセスによる大きなメリットを享受できることを示す。
  論文  参考訳（メタデータ） (2025-02-17T18:46:32Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Hard-normal Example-aware Template Mutual Matching for Industrial Anomaly Detection [78.734927709231]
  異常検出器は、クエリー画像の未知の欠陥を検出し、ローカライズするために工業製造で広く使われている。 これらの検出器は異常のないサンプルで訓練され、ほとんどの通常のサンプルと区別された異常を成功させた。 しかし、ハードノーマルな例は、ほとんどの通常のサンプルから遠く離れており、しばしば既存の方法によって異常と誤認される。
  論文  参考訳（メタデータ） (2023-03-28T17:54:56Z)
• WeCheck: Strong Factual Consistency Checker via Weakly Supervised Learning [40.5830891229718]
  本稿では,複数のリソースを集約して,正確かつ効率的な実測値(WeCheck)をトレーニングする,弱教師付きフレームワークを提案する。 様々なタスクに関する総合的な実験は、平均してTRUEベンチマークにおける従来の最先端手法よりも3.4%の絶対的な改善を実現するWeCheckの強い性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T08:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。