論文の概要: Found by Search, Broken by a Shortcut: Transfer and Tampering of Searched Intrinsic Rewards

• arxiv url: http://arxiv.org/abs/2611.04838v1
• Date: Tue, 03 Nov 2026 13:06:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:26:05.169538
• Title: Found by Search, Broken by a Shortcut: Transfer and Tampering of Searched Intrinsic Rewards
• Title（参考訳）: ショートカットで破壊された検索による発見:検索された本質的逆境の移動と改ざん
• Abstract要約: 自然界のドライブを検索すると、強化学習エージェントが学習し、それまで見たことのないタスクに移行し、検索中に欠落したエクスプロイトに抵抗する、本質的な報酬が見つかる。 CMA-ESと等予算ランダム検索は1,560PPOのトレーニングランを使用しており、最終評価と改ざん試験は340。 ホールドアウトタスクでは、KeyCorridorS3R2、CMA-ES-selected reward(E)がタスクのみのPPO、エピソードのノベルティ、ランダム検索-selected reward(R)を全3回の登録比較で破る。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Can a search over innate drives find intrinsic rewards that help a reinforcement-learning agent learn, transfer to a task it never saw, and resist an exploit that was absent during the search? Each candidate reward combines four generic events (a new view, a pickup, a drop and a toggle), each with a weight, a relief and a refill rate. We ran three pre-registered stages; the search protocol was locked in a public, timestamped commit before any search result existed. CMA-ES and an equal-budget random search used 1,560 PPO training runs, and the final evaluation and tamper test used 340. On the held-out task, KeyCorridorS3R2, the CMA-ES-selected reward (E) beat task-only PPO, episodic novelty and the random-search-selected reward (R) in all 3 registered comparisons, all of them meaningful by the registered size rule. Among these generic rewards E transferred best; the earlier paper's satiation reward, which on this task is given hand-wired key and locked-door events, did better (20 of 20 seeds solved against 4 of 20; descriptive). On UnlockPickup, where that reward uses generic events, E's mean area exceeded it by 0.276 (descriptive). On the training tasks there was no registered difference between E and R: both E-over-R tests missed. A free reset action, absent during the search, collapsed E's learning on DoorKey-8x8 (mean area 0.829 without it, 0.136 with it; registered) to below task-only PPO (descriptive). The searched drives helped on every task tested, but a reward given task-specific events did better on the held-out task, and selection gave E no protection against an exploit absent from the search.
• Abstract（参考訳）: 生まれつきのドライブを検索すると、強化学習エージェントが学習し、それまで見たことのないタスクに移行し、検索中に欠落していたエクスプロイトに抵抗する、本質的な報酬を見つけることができるだろうか? 候補者の報酬は4つのジェネリックイベント(新しいビュー、ピックアップ、ドロップ、トグル)を組み合わせる。 検索プロトコルは公開され、タイムスタンプ付きコミットで、検索結果が存在する前にロックされていた。 CMA-ESと等予算ランダム検索は1,560PPOのトレーニングランを使用しており、最終評価と改ざん試験は340。 保持されたタスクでは、KeyCorridorS3R2、CMA-ES-selected reward(E)がタスクのみのPPO、エピソディクスのノベルティ、ランダム検索-selected reward(R)を、登録されたサイズルールで意味のある3つの比較で破る。 これらの一般的な報酬のうち、Eは最も多く変換され、前回の論文では、手作りの鍵と鍵付きのイベントが与えられ、20種中20種(20種中4種)がより良くなった(説明的)。 UnlockPickupでは、その報酬がジェネリックイベントを使用する。 トレーニングタスクでは、EとRの間に登録された差はなく、どちらもE-over-Rテストが失敗した。 検索中に欠席した自由リセットアクションは、タスクのみのPPO(記述型)以下にEのDoorKey-8x8での学習を崩壊させた。 検索されたドライブは、テストされたすべてのタスクに役立ったが、与えられたタスク固有のイベントに対する報酬は、ホールドアウトタスクにおいて改善され、選択によってEは、検索から欠落したエクスプロイトに対する保護を与えなかった。

関連論文リスト

• Satisfied, Not Solving: Wireheading of Bounded Homeostatic Rewards in Reinforcement Learning [0.0]
  MiniGrid DoorKey-8x8では、PPO剤は80種中2種、70種中71種、20種中20種に対してKeyCorridorS3R1が0。 DoorKeyでは、正常化が有利な条件下で、エージェントが満たす満足度信号は、どれよりも悪く(タスク報酬のみで解決された20中11、改ざん可能な信号で解決された20中1)、各シードで0.1の圧縮コストがタスクを回復した。
  論文  参考訳（メタデータ） (2026-10-31T18:30:01Z)
• HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL [92.02913442949664]
  ミスマッチに基づく強化学習は、自然言語基準による政策を報酬としますが、トレーニングが進むにつれて、これらの報酬は効果がありません。 HarnessRLは,タスクサンプリング,ロールアウトガイダンス,基準の3つのインターフェースを通じて,ポリシーと共進化するトレーニングタイムハーネスである。 RL-Mix-10kでは、ハーネスRLは4Bモデルと9Bモデルの両方で2.8から3.1ポイントで最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-19T13:53:38Z)
• HarnessTTT: Learn to Optimize Harness at Test-Time for Scientific Discovery [82.16352932617562]
  本稿では,エグゼキュータを凍結したままハーネスプロジェクタをトレーニングするテスト時間学習フレームワークであるHarnessTTTを紹介する。 発見指向の政策段階的目的は、ギャップ正規化報酬(ギャップ正規化報酬)、アウト・ワン・アウト・アドバンテージ(RLOO)、ハイパフォーマンスな提案を優先するマックス・シャーペン(max-sharpening)を組み合わせたものである。 14回の発見タスクで、凍結した9Bエグゼキュータを持つHarnessは、11のベンチマークタスクすべてで同じエグゼキュータを持つOpenEvolveを改善している。
  論文  参考訳（メタデータ） (2026-10-12T20:27:32Z)
• SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
  検索エージェントの訓練には高品質な検索データが必要である。 既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。 本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
  論文  参考訳（メタデータ） (2026-08-03T07:29:11Z)
• AutoSearch: Adaptive Search Depth for Efficient Agentic RAG via Reinforcement Learning [52.305422887002656]
  本稿では,自己生成中間回答を用いて各探索ステップを評価する強化学習フレームワークを提案する。 自己回答機構により、AutoSearchは最小限の検索深度を特定し、効率的な検索を促進する。 実験の結果、AutoSearchは検索品質を維持しながら過剰検索を軽減し、精度と効率のトレードオフが優れていることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T09:05:48Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
  Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。 既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。 我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
  論文  参考訳（メタデータ） (2026-02-06T09:14:07Z)
• Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents [19.31471304268234]
  DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2025-10-06T11:09:45Z)
• Redeeming Intrinsic Rewards via Constrained Optimization [17.203887958936168]
  最先端強化学習(RL)アルゴリズムは、通常、探索にランダムサンプリング(例えば$epsilon$-greedy)を用いるが、モンテズマのRevengeのようなハードな探索には失敗する。 探索ボーナス(本質的な報酬または好奇心とも呼ばれる)を使って、エージェントが新しい国家を訪問する動機付けをする以前の作品 このような手法は, 厳密な探索作業において優れた結果をもたらすが, 課題報酬のみを用いて訓練したエージェントと比較して, 内在的な報酬バイアスや過小評価に悩まされる可能性がある。 そこで本研究では,本質的な報酬の重要度を自動的に調整する制約付きポリシ最適化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:49:26Z)
• Sparse Reward Exploration via Novelty Search and Emitters [55.41644538483948]
  本稿では,SparsE Reward Exploration via Novelty and Emitters (SERENE)アルゴリズムを提案する。 SERENEは、探索空間の探索と報酬の搾取を2つの交互プロセスに分けている。 メタスケジューラは、2つのプロセス間の交互にグローバルな計算予算を割り当てる。
  論文  参考訳（メタデータ） (2021-02-05T12:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。