論文の概要: Value Probes: Learned Value Functions for Beam-Search Red Teaming

• arxiv url: http://arxiv.org/abs/2610.38526v1
• Date: Wed, 28 Oct 2026 09:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.388269
• Title: Value Probes: Learned Value Functions for Beam-Search Red Teaming
• Title（参考訳）: Value Probes: ビームサーチのレッドチームのための学習されたバリュー関数
• Abstract要約: 言語モデル監査における2つの大きな改善点を紹介します。 まず、監査者のみに頼るのではなく、監査のためのビームサーチを採用することを提案する。 次に、問題行動につながる可能性のある状態を見つけることの問題を、価値推定として解釈する。
• 参考スコア（独自算出の注目度）: 1.0312968200748116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated red-team auditing of language models is an important way to evaluate safety-relevant behaviors. These audits implicitly search a tree of possible conversation pathways: at each turn an auditor model decides which conversation to continue, and an LLM judge scores the dialogue. We emphasize that this auditing procedure is a Markov decision process, where states are the conversation history, actions are candidate responses, and rewards are judge scores for the target behavior. By adopting this perspective, we introduce two major improvements to auditing. First, we propose adopting beam search for the audit rather than relying on the auditor alone. We then interpret the problem of finding states that are likely to lead to problematic behavior as value estimation. Surprisingly, we show that this value function can be estimated by linear probing from the target model's activations to predict discounted future rewards - a method we term "Value Probes." By using Value Probes as a heuristic in our beam-search audit, we are able to substantially improve auditing success. Across 18 target behaviors and 3 scales of models, our approach raises peak audit scores by roughly 50% compared to (token-matched) standard auditing approaches. Furthermore, we show that Value Probes can be fit using off-policy data from smaller models. We also ablate individual components, and show that our method offers a comparably-performant and more efficient alternative to more expensive language model follow-ups. We hope these methods will improve language model auditing and lead to safer models.
• Abstract（参考訳）: 言語モデルの自動化されたチーム監査は、安全関連行動を評価する重要な方法である。 これらの監査は暗黙的に会話経路のツリーを探索し、それぞれのターンで監査者モデルがどの会話を継続するかを決定し、LLMの審査員が対話をスコアする。 この監査手順はマルコフ決定プロセスであり、状態は会話履歴、行動は候補応答、報酬は対象行動の判断スコアである。 この観点を採用することで、監査に2つの大きな改善がもたらされる。 まず、監査者のみに頼るのではなく、監査のためのビームサーチを採用することを提案する。 次に、問題行動につながる可能性のある状態を見つけることの問題を、価値推定として解釈する。 意外なことに、この値関数は、目標モデルのアクティベーションから線形探索して、割引後の報酬を予測することで推定できることを示し、これは「値プローブ」と呼ぶ方法である。 ビームサーチ監査のヒューリスティックとしてValue Probesを使用することで、監査の成功を大幅に改善することができます。 対象とする18の行動と3種類のモデルに対して,本手法は,標準監査手法と比較してピーク監査スコアを約50%引き上げる。 さらに、より小さなモデルからのオフポリティクスデータを使って、Value Probesが適合できることを示す。 また,各コンポーネントのアブリケートを行い,より高価な言語モデルのフォローアップに対して,コンパガントで効率的な代替手段を提供することを示す。 これらの手法が言語モデルの監査を改善し、より安全なモデルにつながることを期待しています。

関連論文リスト

• What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation [67.47463575774388]
  我々は推論品質を関連性と一貫性の2つの次元に分解する。 これらの側面を確実に測定するために、因果的段階評価(CaSE)を導入する。 トレーニングデータをCaSEで評価した妥当性とコヒーレンスでキュレートすることで、最終タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-23T14:30:37Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• StepWiser: Stepwise Generative Judges for Wiser Reasoning [52.32416311990343]
  プロセス報酬モデルは、ステップバイステップのフィードバックを提供することによって、この問題に対処する。 近年の進歩に触発されて、分類タスクから推論タスク自体への段階的な報酬モデリングを再構築しました。 既存の手法よりも中間段階の精度が向上し, (ii) 訓練時の政策モデルの改善に利用でき, (iii) 推論時探索の改善が図られている。
  論文  参考訳（メタデータ） (2025-08-26T17:45:05Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• Auditing language models for hidden objectives [26.85568746300155]
  本研究では,アライメント監査の実施可能性について検討する。 テストベッドとして、私たちは、隠れた目的を持った言語モデルをトレーニングします。トレーニングパイプラインはまず、RLHF報酬モデル(RM)の悪用可能なエラーについてモデルを教えます。 まず、4つのチームがモデルの隠れた目的やトレーニングを知らず、行動やその原因について調査する、盲目な監査ゲームを実施します。 3つのチームが、テクニックを含むテクニックを使って、モデルの隠れた目的を明らかにすることに成功した
  論文  参考訳（メタデータ） (2025-03-14T00:21:15Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。