ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
Abstractの概要
ExplorationBenchは、AIシステムが想起ではなく探索を通じて新たな知識を獲得できるかを評価するためのベンチマークです。本ベンチマークでは、既知の知識と意図的に矛盾する隠されたルールを持つ、決定論的で実行可能な2つの「未知の世界（alien worlds）」として、小規模プログラミング言語AlienCodeと自然演繹システムAlienLogicを使用します。システムは不完全なマニュアルと共通の例題から開始し、プログラムや証明を提出して正確な環境フィードバックを観察する探索を4ラウンド行った後、ツールなしでホールドアウトタスクのテストを受けます。環境が実行可能であり隠されたルールが評価者に既知であるため、本フレームワークは発見されたルールと下流タスク性能の双方の厳密な検証を可能にします。
新規性
本論文の主な新規性は、検証が困難な科学的探索の問題を、事前学習の想起に耐性がある実行可能な世界に基づいて構築された制御されたベンチマークへと転換した点にあります。また、プローブの選択、報告されたルールの発見、ルールの使用を区別して評価し、自律的な探索を事後情報、固定プローブ、フィードバックなし、オープンブックなどの対照条件と比較しています。
成果
10種類のAIシステムにわたる評価において、最も優秀な軌跡では一部のモデルが見慣れないルールを獲得・適用でき、AlienCodeで87.6%、AlienLogicで83.8%のホールドアウト精度に達しました。環境フィードバックを伴う探索はフィードバックなしの追加ターンを大幅に上回り、AlienCodeでは受動的な証拠再現よりも自己主導のプローブ試行の方が概して良好でした。一方で、性能は軌跡間で大きく変動し、ルールの発見が必ずしも正確な利用を保証するわけではなく、探索を進めることでそれまでの成果が損なわれる場合もありました。
論文の注目点
- 標準的な事前知識と矛盾する隠されたルールを持つ2つの検証可能なサンドボックスを用い、想起ではなく探索の厳密な評価を可能にした。
- プローブの選択、決定論的フィードバックの観察、推論ルールの報告、ツールなしでのホールドアウトタスク解決に至る探索プロセス全体を測定する評価プロトコルを構築した。
- 最先端モデルは見慣れないルールを学習可能であるものの、探索の成否は試行間で不安定であり、ルールを言語化することと実際に正しく適用することの結びつきは不完全であることが実証された。
参考リンク
- arXiv: https://arxiv.org/abs/2609.30199v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.30199v1
- Hugging Face Papers: https://huggingface.co/papers/2609.30199