論文の概要: Online Reward-Punishment Learning from Fixed-Channel Perceptual Event Streams without Environment Rewards

• arxiv url: http://arxiv.org/abs/2606.18963v1
• Date: Wed, 17 Jun 2026 11:43:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.143122
• Title: Online Reward-Punishment Learning from Fixed-Channel Perceptual Event Streams without Environment Rewards
• Title（参考訳）: 環境逆流を伴わない固定チャネル知覚イベントストリームからのオンライン逆流処理学習
• Authors: Zirong Li,
• Abstract要約: OHIRLは4つの役割を分けている: M_psiは次のパケット予測、D_omegaモデルは残留力学、C_etaは固定された内部遷移後軌道である。 C_etaは、回復陽性、永続性/成長陰性残留制御方位を使用する。 条件誤差分解は、B_xiエビデンス推定誤差と残留ポリシー最適化誤差とを分離する。
• 参考スコア（独自算出の注目度）: 3.1050763275397806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study online reward-punishment learning when the environment provides no scalar reward or evaluative label. At each step the agent receives only a fixed-channel perceptual packet, and quantities such as pain, energy, contact, damage, or cognitive error are treated as perceptual dimensions whose valence must be inferred from transition consequences. OHIRL separates four roles: M_psi learns next-packet prediction, D_omega models residual dynamics, C_eta is a fixed internal post-transition trajectory evaluator, and B_xi learns to use the resulting value evidence for later policy updates and action scoring. C_eta uses a recovery-positive and persistence/growth-negative residual-regulation orientation; a coefficient-origin audit shows that equal-unit, raw-equal, and random monotone variants preserve more than 92% of the released top-action rankings, while sign inversion preserves 0%. The reward-free protocol exposes observation transitions while withholding environment rewards, delayed external evaluators, success labels, and action-goodness labels. A conditional error decomposition separates B_xi evidence-estimation error from residual policy-optimization error. In a 2x2-XOR packet task, medicine and chili acquire opposite value under visual XOR contexts, and the same pain or spice increase can be positive or negative depending on consequence structure; B_xi reaches 0.952 balanced reward-sign accuracy. In a full online-interleaved audit, M_psi reaches holdout R2=0.907, B_xi reaches 0.940 sign accuracy, and the policy reaches 0.979 optimal-action accuracy, while immediate packet scores, prediction-error rewards, shuffled targets, zero reward, and error-reduction controls collapse. Hidden-reward CartPole and Taxi controls, public-context no-leakage audits, and module-role ablations further test information boundaries and component necessity.
• Abstract（参考訳）: 本研究では,スカラー報酬や評価ラベルが提供されない場合のオンライン報奨学習について検討する。 各ステップにおいて、エージェントは固定チャネルの知覚パケットのみを受け取り、痛み、エネルギー、接触、損傷、認知誤差などの量は、遷移の結果から価が推測されなければならない知覚次元として扱われる。 OHIRLは4つの役割を分けている: M_psiは次のパケット予測、D_omegaモデル残留力学、C_etaは固定された内部遷移後軌道評価器、B_xiは後のポリシー更新とアクションスコアの結果として得られた値エビデンスを利用する。 C_eta はリカバリ陽性および持続性/持続性/生長性残留制御配向を用いており、係数オリジン監査は、放出されたトップアクションランキングの92%以上を、符号反転は0%を保存していることを示す。 報酬のないプロトコルは、環境報酬、遅延した外部評価器、成功ラベル、アクション・グッドネスラベルを保持しながら観察遷移を公開する。 条件誤差分解は、B_xiエビデンス推定誤差と残留ポリシー最適化誤差とを分離する。 2x2−XORパケットタスクでは、医療とチリは、視覚的XORコンテキスト下で反対値を取得し、結果構造に応じて同じ痛みやスパイスの増加が正または負となり、B_xiは0.952の平衡報酬符号精度に達する。 完全なオンラインインターリーブ監査では、M_psiはホールドアウトR2=0.907に達し、B_xiは0.940の符号精度に達し、ポリシーは0.979の最適動作精度に達し、即時パケットスコア、予測エラー報酬、シャッフルターゲット、ゼロ報酬、エラー還元制御は崩壊する。 Hidden-Reward CartPoleとTaxiコントロール、パブリックコンテキストのno-leakage監査、モジュールロールの廃止により、さらなるテスト情報バウンダリとコンポーネントの必要性が高まっている。

関連論文リスト

• Causal Agent Replay: Counterfactual Attribution for LLM-Agent Failures [0.0]
  Causal Agent Replay (CAR) は、エージェントが構造的因果モデルとして実行されることをモデル化する。 ステップにダブルオペレーションを適用し、同じポリシーの下で軌道を再実行します。 CARはオープンソースで、ホストまたはフリーのローカルモデルで動作する。
  論文  参考訳（メタデータ） (2026-06-06T17:44:23Z)
• A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
  報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。 実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。 我々はこの推定が体系的に偏っていることを証明している。
  論文  参考訳（メタデータ） (2026-06-04T09:35:54Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting [36.23660195981511]
  PTR(Posterior-Transition Reweighting)は、報酬のない、保守的なポストトレーニング手法である。 各トレーニングサンプルが管理された更新にどの程度影響するかを決定する。 PTRは、各サンプルの反応後の結果が現在の表現の下にあるかに応じてクレジットを再配置する。
  論文  参考訳（メタデータ） (2026-03-17T14:05:35Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。