論文の概要: When a Kindergartener Solves Calculus: Measuring Capability Leakage in Role-Prompted Reasoning Models
- arxiv url: http://arxiv.org/abs/2609.39846v1
- Date: Wed, 30 Sep 2026 14:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.898425
- Title: When a Kindergartener Solves Calculus: Measuring Capability Leakage in Role-Prompted Reasoning Models
- Title（参考訳）: 幼稚園児の体表:ロールプロンプト推論モデルにおける能力漏洩の測定
- Abstract要約: ロールプロンプト推論モデルは、割り当てられたロールによって入力されたものを超えたベンチマークの能力を継続しながら、説得力のあるインロールテキストを生成する。
RoleCapBenchは6つの教育的役割と4つの評価レベルにまたがって、小学校からAレベルにまたがるRCLを評価するためのカリキュラムベースベンチマークである。
モデルはスタイリスティックに説得力のあるインロール応答を生成できるが、基礎となる能力と割り当てられた役割を一貫して整合させることができない。
- 参考スコア（独自算出の注目度）: 4.897318643396687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the problem of role-capability leakage (RCL), in which a role-prompted reasoning model generates convincing in-role text while continuing to exhibit capabilities on benchmarks that exceed those implied by the assigned role. For example, when a model is prompted to assume the role of a kindergarten student, one might expect its performance on a mathematics benchmark to reflect kindergarten-level ability rather than expert-level proficiency in solving calculus problems. We introduce RoleCapBench, a curriculum-grounded benchmark for evaluating RCL across six educational roles and four assessment levels spanning elementary school through A-level, and use it to evaluate three open-weight reasoning models. We find that although the models can generate stylistically convincing in-role responses, they consistently fail to align their underlying capabilities with their assigned roles. Naive role prompting yields strong role-voice scores of 1.218--1.389 while retaining above-role accuracy of 0.811--0.898. RCL persists across a range of prompting conditions, including prompts that explicitly instruct the model to match the role's capability level. To mitigate this problem, we propose Injection, an inference-time intervention that combines explicit, role-specific capability guidelines with a guiding prefilled response prefix. Injection improves role-capability alignment across models, reducing above-role accuracy by up to 0.562 while preserving in-role accuracy with a marginal drop of less than 0.058 across most models. All artifacts, including scripts and evaluation data, will be released upon acceptance.
- Abstract（参考訳）: 本稿では、ロールプロンプトされた推論モデルが、割り当てられたロールによって入力されたものを超える性能を示しながら、説得力のあるインロールテキストを生成するという、ロール能力リーク(RCL)の問題について検討する。
例えば、あるモデルが幼稚園の学生の役割を引き受けるよう促された場合、数学のベンチマークでのパフォーマンスは、数学の問題を解くための専門家レベルの熟練度よりも、幼稚園レベルの能力の反映を期待するかもしれない。
RoleCapBenchは,小学校の6つの役割と4つの評価レベルをAレベルから評価するためのカリキュラム付きベンチマークであり,オープンウェイト推論モデルの評価に利用している。
モデルはスタイリスティックに説得力のあるインロール応答を生成できるが、基礎となる能力と割り当てられた役割を一貫して整合させることができない。
ナイーブ・ロール・プロンプトは1.218--1.389の強いロール・ボイススコアを得るが、上記のロールの精度は0.811--0.898である。
RCLは、ロールの能力レベルに合わせてモデルを明示的に指示するプロンプトを含む、一連のプロンプト条件で持続する。
この問題を軽減するために、明示的で役割特異的な機能ガイドラインと、事前に満たされた応答プレフィックスを組み合わせた推論時間介入であるインジェクションを提案する。
インジェクションは、モデル間のロールキャパビリティアライメントを改善し、オーバーロール精度を0.562まで下げると同時に、ほとんどのモデルで0.058未満の限界差でロール内精度を保っている。
スクリプトや評価データを含むすべてのアーティファクトは、受け入れ次第リリースされる。
関連論文リスト
- OPSRD: On-Policy Self-Role Distillation [7.947611649764756]
OPSRDは、参照ソリューションを使わずに、政治上の自己蒸留のための特権的な教育コンテキストとして、固定された専門家の役割を使用する。
ロールフリーの学生は軌道を生成し、同じベースモデルの凍結インスタンスはその正確なプレフィックスにロール条件の分布を提供する。
フォワードKLは、個々の語彙への貢献を制限するクリッピングによって、学生が過小評価する代替案をターゲットにしている。
論文 参考訳（メタデータ） (2026-09-30T14:56:10Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。
本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。
実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
論文 参考訳（メタデータ） (2026-05-12T11:33:49Z) - The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models [61.32031248060941]
マイクロレベルの個人経験からマクロレベルの組織,制度的,あるいは国家的推論に至るまで,大きな言語モデルが社会的役割をコードしていることを示す。
以上の結果から,社会的役割の粒度は単にスタイリスティックな表面特徴ではなく,言語モデル行動における構造的,秩序的,因果的に操作可能な潜在方向である可能性が示唆された。
論文 参考訳（メタデータ） (2026-05-07T13:08:19Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z) - Improving LLM Reasoning through Interpretable Role-Playing Steering [33.25597755294326]
ロールプレイングは大規模言語モデル(LLM)の推論能力を高める効果的な手法として登場した。
Sparse Autoencoder Role-Playing Steering (SRPS) は、ロールプレイング行動に関連する内部モデルの特徴を特定し、操作する新しいフレームワークである。
提案手法は,ロールプレイプロンプトから潜在表現を抽出し,アクティベーションパターンに基づいて最も関連性の高い特徴を選択し,制御可能な強度でモデルの残留ストリームに注入可能なステアリングベクトルを構築する。
論文 参考訳（メタデータ） (2025-06-09T00:31:17Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - RAIDEN-R1: Improving Role-awareness of LLMs via GRPO with Verifiable Reward [7.9399136525335585]
RAIDEN-R1は、VRAR(Verifiable Role-Awareness Reward)を統合した新しい強化学習フレームワークである
マルチLLMコラボレーションにより,高品質で役割対応のChain-of-Thoughtデータセットを構築した。
RAIDENベンチマークの実験では、RAIDEN-R1の優位性が示されている。
論文 参考訳（メタデータ） (2025-05-15T12:22:10Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - Better Zero-Shot Reasoning with Role-Play Prompting [10.90357246745529]
ロールプレイプロンプトは、ほとんどのデータセットで標準のゼロショットアプローチを一貫して上回っている。
これは、大きな言語モデルの推論能力を増強する可能性を強調している。
論文 参考訳（メタデータ） (2023-08-15T11:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。