論文の概要: Detecting an Effect Is Not Learning to Act on It: A Reward-SNR Floor for LLM Acquisition Agents
- arxiv url: http://arxiv.org/abs/2608.10441v1
- Date: Tue, 11 Aug 2026 03:46:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.893274
- Title: Detecting an Effect Is Not Learning to Act on It: A Reward-SNR Floor for LLM Acquisition Agents
- Title（参考訳）: LLM取得エージェントのための逆SNRフロア
- Abstract要約: パイプラインは、補助的なモデル由来の観測を得るために、サンプル当たりのコストを支払うことができ、取得した信号が使用される価値があるかどうかを判断する必要がある。
このような信号が平均して役に立つことを検出することは、インスタンス毎に行うことを学ぶのと同じではない。
本稿では,各インスタンス毎の取得ポリシーの学習に対する平均効果と,報奨SNR検出能力のフロアを区別して説明する。
- 参考スコア（独自算出の注目度）: 1.5116447879757695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many pipelines can pay a per-example cost to acquire an auxiliary, model-derived observation -- an LLM's structured reasoning, a slow oracle, an expensive measurement -- and then must decide when the acquired signal is worth using. Our thesis is a distinction that is easy to miss: detecting that such a signal helps on average is not the same as learning to act on it per instance, and a reward-SNR floor governs when the second is even possible. Even when the signal is faithful and an in-sample oracle picking the top-b examples by realized reward shows a sizable apparent gain, no deployable policy can learn when to acquire it: across per-impression, cluster, regime, and uplift-tree granularities, learned routing never beats random, and a matched-moment noise placebo reproduces >=100% of the oracle's apparent gain -- the apparent "learnable structure" is order statistics of noise. We explain this with one distinction, detecting a mean effect vs. learning a per-instance acquisition policy, and a reward-SNR detectability floor: routing is estimable offline only if the reward SNR rho clears rho*(N) ~= 2.8/sqrt(N), with a positive control confirming a true low-SNR limit rather than a broken pipeline. As a concrete instantiation we introduce Structured Hypothesis Embeddings (SHE): a frozen LLM turns a user history into ranked, confidence-scored, evidence-grounded intent hypotheses, fused into a recommender. On three public datasets (MIND, REES46, Amazon-Beauty), SHE is faithful and calibratable, yet its value is backbone- and regime-conditional (significant over an ordered GRU, +0.0114, 95% CI [+0.0030, +0.0209], but a global redundancy gap indistinguishable from zero), and learned acquisition collapses at every granularity because all three datasets sit below the floor. The realizable unit is a design-time regime gate, not a per-instance policy. We release code and a one-command reproduction.
- Abstract（参考訳）: 多くのパイプラインは、補助的なモデル由来の観測(LCMの構造的推論、遅いオラクル、高価な測定)を取得するために、サンプル当たりのコストを支払うことができ、取得した信号がいつ使われるべきかを判断する必要がある。
我々の論文は、見逃しがちな区別である:そのような信号が平均的にインスタンスごとの行動を学ぶのと同じではないことを検知し、報酬-SNRフロアは2階が可能である場合に支配する。
信号が忠実で、実現された報酬によってトップbの例を選択するサンプル内オラクルは、大きな利得を示すが、それをいつ取得するかは、デプロイ可能なポリシーでは学べない: 印象、クラスタ、レギュレーション、リフトツリーの粒度、学習されたルーティングがランダムに打ち負かされず、マッチしたモーメントノイズプレースボが、オラクルの明らかな利得の >=100% を再現する -- 明らかな"学習可能な構造"はノイズの順序統計である。
本稿では,SNR rho が rho*(N) ~= 2.8/sqrt(N) をクリアした場合のみ,ルーティングがオフラインであることを示す。
具体的インスタンス化として、構造化仮説埋め込み (Structured hypothesis Embeddings: SHE) を導入します。
3つのパブリックデータセット(MIND、REES46、Amazon-Beauty)では、SHEは忠実で校正可能であるが、その価値はバックボーンとレギュラー条件(順序付きGRU、+0.0114、95% CI [+0.0030、+0.0209]よりも大きいが、グローバルな冗長性ギャップはゼロとは区別できない)であり、3つのデータセットがすべて床の下に置かれているため、すべての粒度で取得が崩壊する。
実現可能なユニットはデザイン時のレギュレーションゲートであり、インスタンスごとのポリシーではない。
コードとワンコマンドの複製をリリースします。
関連論文リスト
- Retrieval-Guided Fine-Tuning as Noisy Estimation: Risk bounds and Architectural Analysis [1.381684956393831]
Retrieval-Guided Fine-Tuning (RAG-FT)は、検索したデータをトレーニング対象に直接組み込むが、トレーニング中のノイズ検索の統計的結果は理論的には不十分である。
RAG-FTが目標と全コーパスの両方のトレーニングよりも低いリスクを達成できる明示的な有限サンプル条件を導出する。
我々は、注意推定器のバイアスが正確な検索でも$(n2q)$とばらつき、OLSリスクはすべてのノイズに対して$(d/n)$であることを示した。
論文 参考訳（メタデータ） (2026-09-13T12:51:02Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - When RLVR Shrinks the Reasoning Boundary: Diagnosing Pass@k Inversion [0.0]
検証可能な報酬(RLVR)を用いた強化学習は、繰り返しサンプリング時にモデルを悪化させながら、一サンプル精度を向上させることができる。
トレーニング後、このポリシーはベースモデルよりも小さな問題を、大きな$k$で解決する可能性がある。
失敗は境界プロンプトに集中しており、ベースモデルにはサンプリングによって回復できる稀な正しい軌道が含まれており、有限のRLVRロールアウトグループに確実に現れるには小さすぎる。
論文 参考訳（メタデータ） (2026-07-12T17:17:18Z) - Causal Label Recovery in Payment Networks [0.0]
支払いネットワークにおける不正検出モデルは、体系的にバイアスのあるチャージバックラベルでトレーニングする。
共用紙 [arXiv05:26.27557] は、これらの4つの障害が検出性能に最小限の上限を課すことを示した。
観測パイプラインを3段階, 破損層を有する逐次欠落データ問題として定式化し, 逐次トリプライロバスト推定器を構築した。
論文 参考訳（メタデータ） (2026-05-28T02:43:34Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳（メタデータ） (2026-05-14T20:27:32Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。
最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。
我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文 参考訳（メタデータ） (2026-03-09T17:38:11Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳（メタデータ） (2026-01-05T10:16:41Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision [26.922922043969958]
我々は、コンピュータ・アズ・教師(CaT)による調査を監督に転換することを提案する。
CaTは平行ロールアウトのグループから単一の参照を合成し、それに向けて最適化する。
テストタイムの手順として、CaTはGemma 3 4B、Qwen 3 4B、Llama 3.1 8Bを改善している。
論文 参考訳（メタデータ） (2025-09-17T17:59:42Z) - Learning to Reason without External Rewards [100.27210579418562]
RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。
内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。
本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
論文 参考訳（メタデータ） (2025-05-26T07:01:06Z) - Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。
Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。
さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
論文 参考訳（メタデータ） (2023-01-02T07:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。