論文の概要: More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum

• arxiv url: http://arxiv.org/abs/2610.40758v1
• Date: Thu, 29 Oct 2026 17:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.459139
• Title: More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum
• Title（参考訳）: より多くのルールと長いリスト : 隠れルールのカリキュラム上での自己進化エージェントのベンチマーク
• Abstract要約: 我々は、潜在ルールのカリキュラムであるCLR-Benchを紹介する。 各チェーンは、以前のチェーンの上に、レベル毎に1つの隠れルールを追加します。 最近の自己進化手法を6つ評価した。
• 参考スコア（独自算出の注目度）: 36.0401590024624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agents rewrite a persistent state from feedback, but it is largely untested whether this lets them learn a rule nobody told them. An agent can also pass by writing down each correction as an exception, and its list then grows with every new rule. We introduce CLR-Bench, a Curriculum of Latent Rules benchmark. Each chain adds one hidden rule per level on top of the earlier ones. A rule acts on an opaque label that stands for a named grouping published on the Web, such as the founding members of an airline alliance. The task gives one example value, practice feedback reveals one more member and one non-member, and the test checks unseen members and similar non-members. Probes certify that the base model knows the members of each grouping and does not guess it without feedback, and that the evidence identifies the grouping once labels are read as named groupings. An automated pipeline builds chains from a new data domain, and we release 20 chains over 10 domains. We evaluate six recent self-evolution methods. With the certifying model they barely learn. The best gain at most 5 points over a frozen agent and exclude only 6-12% of the unseen members from the count, fewer than the 20% reached by simply keeping the raw practice history. A fixed lesson that states the named-grouping convention lifts the same methods by 14.5 to 16.5 points. Their states hold the revealed member in 75-98% of cases and almost never the class name, and when practice exposes a member the list misses, they add that member to the list. With the stronger GPT-6-Sol, ACE and Dynamic Cheatsheet learn from feedback alone. They reach 78% accuracy and solve 59-60% of the single cells, against 53% and 8% with the certifying model, and they surpass the raw history. CLR-Bench therefore measures how well an agent learns, and this ability differs across models.
• Abstract（参考訳）: 自己進化型エージェントはフィードバックから永続的な状態を書き換えるが、これが誰にも話さないルールを学べるかどうかはほとんどテストされていない。 エージェントは、各修正を例外として書き留め、そのリストは、すべての新しいルールで成長する。 我々は、潜在ルールのカリキュラムであるCLR-Benchを紹介する。 各チェーンは、以前のチェーンの上に、レベル毎に1つの隠れルールを追加します。 規則は、航空会社同盟の設立メンバーなど、Web上で公表された名前付きグルーピングを表す不透明なラベルに作用する。 タスクは1つのサンプル値を与え、実践的フィードバックは1つのメンバと1つの非メンバを明らかにし、テストチェックは見当たらないメンバと同じような非メンバを表示する。 プローブは、ベースモデルが各グルーピングのメンバーを知っており、フィードバックなしで推測しないことを証明し、ラベルが名前付きグルーピングとして読まれると、そのグルーピングを証明している。 自動パイプラインは、新しいデータドメインからチェーンをビルドし、20のチェーンを10ドメイン以上リリースします。 最近の自己進化手法を6つ評価した。 認定モデルでは、ほとんど学ばない。 凍結剤よりも5ポイント多く、未確認メンバーの6-12%しかカウントから除外しておらず、生の実践履歴を単に保持することで到達した20%以下である。 名前付きグループ・コンベンションを示す固定的なレッスンは、同じ方法を14.5から16.5ポイントまで引き上げる。 彼らの状態は、明らかにされたメンバーを75～98%のケースで保持し、ほとんどクラス名は保持しない。 GPT-6-Solの強化により、ACEとDynamic Cheatsheetはフィードバックのみから学習する。 精度は78%に達し、59-60%の細胞の59-60%を解き、53%と8%の認証モデルで解決し、生の履歴を上回ります。 したがってCLR-Benchは、エージェントがどの程度うまく学習するかを測定し、この能力はモデルによって異なる。

関連論文リスト

• From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2 [0.9302016191511101]
  我々はOLMo 2 1Bの公式50ビリオントーケンミッドトレーニングステージを再編成する。 選択したトレーニングチャンクを、ドメインと難易度で一致した7,814対のドキュメントに置き換えました。 それぞれのペアについて、コインフリップはどの文書が挿入され、どの文書が持ち出されたかを決定する。
  論文  参考訳（メタデータ） (2026-10-30T13:41:56Z)
• Agent Skill Evolution: How Revisions Affect Coding Agents [14.22442992777441]
  我々は、エージェントのハーネスの設定とともに、スキルがどのように進化し、どのように変化するかを特徴付ける。 ほとんどのリビジョン(55%)はルールやプロシージャを変更し、CLAUDE.mdのようなスキル変更ファイルを同じサイズの他のコミットよりも頻繁に修正するコミットである。 修正では、単一の回答に18-19%の入力トークンを追加し、エージェントエピソードには検出可能なコストがかからない一方で、スキル本体をロードすると、エピソードのトークンが平均50%上昇する。
  論文  参考訳（メタデータ） (2026-10-04T00:33:46Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• CatchBench: When Can an Agent Failure Be Caught? [6.230697997280125]
  CatchBenchは、監査人の質問を3つの情報状態に分類する。 以前のベンチマークでは、これらの状態の1つを修正したり、テレメトリを変更したりする。 各州は異なる質問を認めており、7つのタスク契約は独自のラベルとメトリクスを持っている。
  論文  参考訳（メタデータ） (2026-08-24T05:09:41Z)
• Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework [0.3867363075280543]
  提案するクローズドループフレームワークでは,すべてのレビューコメントを永続的な行動規則として符号化する。 このフレームワークは、バージョン管理された命令ファイル、自己レビューチェックリスト、自動検証に設定された蓄積ルールを組み合わせる。 我々のフレームワークは、重み付けの更新なしに永続的なクロスセッション学習を実現し、既存のベンチマークが測定しない経験的な次元(時間とともに振る舞いの整合性)に対処する。
  論文  参考訳（メタデータ） (2026-07-13T21:13:46Z)
• CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
  CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。 Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。 自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
  論文  参考訳（メタデータ） (2026-03-18T14:38:55Z)
• RESTRAIN: From Spurious Votes to Signals -- Self-Driven RL with Self-Penalization [52.01526898310723]
  私たちは、ゴールドラベルの欠如を有用な学習信号に変換する自己金型RLフレームワークであるRESTRAINを紹介します。 多数決を急ぐために過剰にコミットする代わりに、RESTRAINは、モデルの全回答分布からのシグナルを利用する。 挑戦的な推論ベンチマークでは、RESTRAINはラベルのないデータのみを使用して大きなゲインを提供する。
  論文  参考訳（メタデータ） (2025-10-02T16:24:01Z)
• Generalizable Re-Identification from Videos with Cycle Association [60.920036335996414]
  トレーニングの複雑さの低いre-IDのためのスケーラブルな自己教師型学習手法として,CycAs(CycAs)を提案する。 提案手法に適したLMPビデオという,大規模でラベルのないre-IDデータセットを構築した。 CycAsは、時間的に連続したビデオフレームペア間のインスタンス関連性のサイクル一貫性を強制することによって、re-ID特徴を学習する。
  論文  参考訳（メタデータ） (2022-11-07T16:21:57Z)
• CycAs: Self-supervised Cycle Association for Learning Re-identifiable Descriptions [61.724894233252414]
  本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。 既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。 疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
  論文  参考訳（メタデータ） (2020-07-15T09:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。