論文の概要: Reward-Informed Sparse Autoencoders and the Solution-Completeness Confound

• arxiv url: http://arxiv.org/abs/2608.26136v1
• Date: Thu, 25 Jun 2026 15:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.358442
• Title: Reward-Informed Sparse Autoencoders and the Solution-Completeness Confound
• Title（参考訳）: 逆インフォームされたスパースオートエンコーダと解完全性
• Abstract要約: 我々は報酬インフォームドSAE(RI-SAE)を構築する。 我々はGRPOトラジェクトリを高逆(良い)と低逆(悪い)推論に分割し、標準のJumpReLU SAEをそれらのアクティベーションで訓練した。 Llama-3.1-8Bでは、16,384の機能のスパースサブセットがクラスを分離する(選択された機能ではsilhouette 0.79、全コードでは0.005)。
• 参考スコア（独自算出の注目度）: 39.146761527401424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) decompose language-model activations into sparse, interpretable features, and an appealing way to aim them at reasoning is to curate their data with a signal reinforcement learning already produces: the reward. We build such a reward-informed SAE (RI-SAE): we split GRPO trajectories into high-reward ("good") and low-reward ("bad") reasoning continuations, train a standard JumpReLU SAE on their activations, and then ask what the resulting good/bad separation actually measures. On Llama-3.1-8B a sparse subset of the 16,384 features does separate the classes (silhouette 0.79 on the selected features versus 0.005 for the full code), but a control battery shows the separation is largely solution completeness rather than reasoning quality: a TF-IDF text classifier already splits the classes (AUC 0.75--0.83), and three structural cues alone (length, a closed reasoning block, and a boxed answer) reach AUC 0.70 (99% of good versus 69% of bad completions are boxed). A generic SAE that never saw the reward does not separate the classes at all (silhouette 0.01, no discriminative features), so the 0.79 is in-sample fitting of this curated signal rather than structure that a reward-blind dictionary recovers. We therefore present the recipe and its control battery together: reward filtering is a cheap, label-free way to reuse RL signals for interpretability, but most of what it surfaces is completion form. Two discriminative features are still readable (symbolic mathematics; procedural and evaluative language), which we take as illustrative rather than as isolated reasoning.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、言語モデルのアクティベーションをスパースで解釈可能な特徴に分解し、それらを推論することを目的とした魅力的な方法は、すでに生成された信号強化学習でデータをキュレートすることである。 GRPOトラジェクトリをハイリワード(良い)とローリワード(悪い)に分割し、継続を推論し、標準のJumpReLU SAEをアクティベーションでトレーニングし、その結果のよい/悪い分離が実際に何をしているのかを問う。 Llama-3.1-8Bでは、16,384の機能のスパースサブセットがクラスを分離する(選択された機能ではシルエット0.79、完全なコードでは0.005)が、制御バッテリは、分離は推論品質よりも解の完全性を示している:TF-IDFテキスト分類器は、既にクラスを分割している(AUC 0.75-0.83)。 報酬を見たことのない一般的なSAEは、クラスを全く分離しない(シルエット0.01、識別的特徴がない)ので、0.79は、報酬盲辞典が回復する構造ではなく、このキュレートされた信号のインサンプルフィッティングである。 そこで我々はレシピと制御バッテリをまとめて提示する:報酬フィルタリングは、可読性のためにRL信号を再利用するための、安価でラベルなしな方法であるが、その表面にあるほとんどのものは完成形である。 2つの識別的特徴は依然として読みやすい(記号数学、手続き的および評価的言語)。

関連論文リスト

• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary [0.0]
  最適なリターンを知ることは自由である。 すべてのステップで正確な潜伏状態を知ることは無料である。 報酬は国家が学んだ証拠ではない。
  論文  参考訳（メタデータ） (2026-07-11T21:33:32Z)
• PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation [0.0]
  クリーンな陽性画素コントラストフレームワークPixConを提案する。 PixConは、学生が既に正しく分類しているラベル付きピクセルのみを認めるクラスごとのメモリバンクを維持している。 一貫性のバックボーン上の単一のブランチであり、推論時間パラメータを追加せず、バンク固有のしきい値を必要としない。
  論文  参考訳（メタデータ） (2026-07-03T08:01:37Z)
• ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation [8.293675661721926]
  オンライン蒸留は、学生モデルを独自の出力で訓練することで推論を改善するが、標準的なOPDは学生が生産する出力を、その情報によらず平等に扱う。 我々は制御されたフィルタリング実験において一貫した非対称性を観察し、OPDとOPSDの両方において、不正なSGOのトレーニングのみにおいて、正しいトレーニングよりも優れた結果が得られることを示した。 完全回答を含むロールアウトを必要とせずにこの信号を利用するために,LLMオンポリス蒸留における負の軌道重要度を重み付けするReNIOを導入する。
  論文  参考訳（メタデータ） (2026-06-22T09:46:35Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines? [10.871959954490217]
  スパースオートエンコーダ(SAE)は、アクティベーションをスパースセットの人間解釈可能な特徴に分解することで、ニューラルネットワークを解釈するための有望なツールとして登場した。 最近の研究は複数のSAE変異体を導入し、フロンティアモデルへの拡張に成功した。 多くの興奮にもかかわらず、下流タスクにおけるネガティブな結果の増加は、SAEが有意義な特徴を回復するかどうかに疑問を投げかけている。
  論文  参考訳（メタデータ） (2026-02-15T11:53:55Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。