論文の概要: RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments

• arxiv url: http://arxiv.org/abs/2606.26094v1
• Date: Wed, 24 Jun 2026 17:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.425659
• Title: RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments
• Title（参考訳）: RevengeBench: 振る舞い実験によるリバースエンジニアリングのコードスペースポリシ
• Abstract要約: ゲーム環境におけるエージェントの行動トレースのみを考慮すれば,学習者は基本となる決定プログラムを実行可能なコードとして再構築できるのだろうか? 我々は,CodeClashトーナメントトラジェクトリから引き出された5つのゲーム環境における75 LLMの生成,エロ校正ポリシのベンチマークであるRevengeBenchを紹介する。 ダウンストリームプレーヤ対プレーヤートーナメントにおいて,回復したコードが情報伝達信号を伝達していることを検証する。 本ベンチマークでは,プログラム型ポリシの動作回復を,コード空間におけるトラクタブルな逆問題として位置づけ,反対モデリングへの道を開いたり,ポリシーの解釈可能性や,観測結果から潜伏メカニズムを推測するより広範な疑問を提起する。
• 参考スコア（独自算出の注目度）: 15.354984031732853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For most of scientific history, researchers studying behavior could only infer hidden mechanisms from outward actions: an inverse problem that becomes more tractable when observation is augmented by targeted intervention. We pose a computational analogue: given only behavioral traces of an agent in a game environment, can a learner reconstruct the underlying decision program as executable code, and how much does this reconstruction improve with the ability to design controlled experiments? We introduce RevengeBench, a benchmark of 75 LLM generated, Elo-calibrated policies across five game environments, drawn from CodeClash tournament trajectories. The learner observes the hidden target policy play against sampled opponents and designs behavioral probes in the form of custom opponent policies that elicit informative behavior. It then submits an executable hypothesis, which is evaluated using continuous action-distance metrics. We further validate that recovered code carries informative signal in downstream player-versus-player tournaments. Across twelve frontier LLMs, recovery quality varies substantially (34 to 72% of initial distance closed), with reconstructed policies yielding measurable competitive advantage, particularly for weaker models that otherwise struggle to design effective counter-strategies. Our benchmark positions behavioral recovery of programmatic policies as a tractable inverse problem in code-space, opening a path to opponent modeling, policy interpretability, and the broader question of inferring latent mechanisms from observations.
• Abstract（参考訳）: 科学史の大半において、行動を研究する研究者は、外向きの行動から隠れたメカニズムを推測するしかなかった。 ゲーム環境におけるエージェントの行動トレースのみを与えられた場合、学習者は、基礎となる決定プログラムを実行可能なコードとして再構築することができ、制御された実験を設計することで、この再構成はどの程度改善されるのか。 我々は,CodeClashトーナメントトラジェクトリから引き出された5つのゲーム環境における75 LLMの生成,エロ校正ポリシのベンチマークであるRevengeBenchを紹介する。 学習者は、サンプリングされた相手に対して隠れたターゲットポリシーを観察し、情報的行動を誘発するカスタム相手ポリシーの形で行動プローブを設計する。 その後、実行可能な仮説を提出し、連続的なアクション距離メトリクスを用いて評価する。 さらに,回収されたコードが,下流のプレイヤー対プレイヤートーナメントで情報伝達信号を持っていることを検証した。 12基のフロンティア LLM 全体で、リカバリの質は大幅に変化し(初期距離の34から72%)、再建されたポリシーは、特に効果的な反戦略を設計するのに苦戦する弱いモデルに対して、測定可能な競争上の優位性をもたらす。 本ベンチマークでは,プログラム型ポリシの動作回復を,コード空間におけるトラクタブルな逆問題として位置づけ,対立するモデリングへの道を開いたり,ポリシーの解釈可能性や,観測結果から潜時メカニズムを推測するより広範な疑問を提起する。

関連論文リスト

• Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems [40.47928908205563]
  マルチエージェントLLMシステムは、一般的にオーケストレータを使用して、労働者のチームのためにタスクを分解し、テキストリフレクションによって改善する。 強い実証結果にもかかわらず、これらのシステムには調整、メモリ改善、外部検証の役割の統一的な説明が欠けている。 我々は,評価のための信頼ゲーティングと,断片的な静止環境に対する保証の再集計を行う。 実験では、これらのオブジェクトを環境条件付きメトリクスでインスタンス化し、予測調整法則とドリフト法則をテストする。
  論文  参考訳（メタデータ） (2026-09-02T15:50:10Z)
• When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals [11.280037154530847]
  LLMの強化学習はハッキングに対して脆弱である。 本研究では,環境操作設定を用いたコーディング作業におけるこの現象について検討する。 本稿では,ショートカットのコンセプトスコアをGRPOの利点計算に統合したアドバンテージ修正を提案する。
  論文  参考訳（メタデータ） (2026-04-01T23:33:08Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Decoding Rewards in Competitive Games: Inverse Game Theory with Entropy Regularization [52.74762030521324]
  本稿では,観察行動から報酬関数を学習するための新しいアルゴリズムを提案する。 我々は,アルゴリズムの信頼性とサンプル効率について,強力な理論的保証を提供する。
  論文  参考訳（メタデータ） (2026-01-19T04:12:51Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching [23.600285251963395]
  逆強化学習(IRL)では、エージェントは環境との相互作用を通じて専門家のデモンストレーションを再現しようとする。 伝統的にIRLは、敵が報酬モデルを探し出し、学習者が繰り返しRL手順で報酬を最適化する対戦ゲームとして扱われる。 直接ポリシー最適化によるIRLに対する新しいアプローチを提案し、リターンの線形因数分解を後継特徴の内積および報酬ベクトルとして活用する。
  論文  参考訳（メタデータ） (2024-11-11T14:05:50Z)
• Replay For Safety [51.11953997546418]
  経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。 適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
  論文  参考訳（メタデータ） (2021-12-08T11:10:57Z)
• Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning [131.1852444489217]
  本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。 我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
  論文  参考訳（メタデータ） (2021-10-27T01:56:23Z)
• Understanding Adversarial Attacks on Observations in Deep Reinforcement Learning [32.12283927682007]
  深層強化学習モデルは、観測を操作することで被害者の総報酬を減少させる敵攻撃に対して脆弱である。 関数空間における逆攻撃の問題を修正し、以前の勾配に基づく攻撃をいくつかの部分空間に分割する。 第一段階では、環境をハックして偽装ポリシーを訓練し、最下位の報酬にルーティングするトラジェクトリのセットを発見する。 本手法は,攻撃エージェントの性能に対して,既存の手法よりも厳密な理論上界を提供する。
  論文  参考訳（メタデータ） (2021-06-30T07:41:51Z)
• Disturbing Reinforcement Learning Agents with Corrupted Rewards [62.997667081978825]
  強化学習アルゴリズムに対する報酬の摂動に基づく異なる攻撃戦略の効果を分析します。 敵対的な報酬をスムーズに作成することは学習者を誤解させることができ、低探査確率値を使用すると、学習した政策は報酬を腐敗させるのがより堅牢であることを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。