論文の概要: Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
- arxiv url: http://arxiv.org/abs/2606.24965v1
- Date: Tue, 23 Jun 2026 09:36:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.073968
- Title: Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
- Title（参考訳）: Project Auto-World:Neural Relational Reasonerの自動ベンチマークに向けて
- Authors: Anirban Das, Joanne Boisson, Irtaza Khalid, Sumita Garai, Steven Schockaert,
- Abstract要約: リレーショナル構造に関する推論は、ニューラルモデルにとって重要な課題である。
ベンチマーク生成を自動化するために,大規模言語モデルを用いてこの問題に対処する方法について検討する。
我々は、LLMが提案する新しい世界に同じ機械を応用できることを示し、ニューラルリレーショナル推論に関する自律的な研究の扉を開く。
- 参考スコア（独自算出の注目度）: 18.516862091292328
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning about relational structures remains a significant challenge for neural models, particularly when they must systematically apply learned knowledge to problem instances that are harder than those seen in training. Progress is hampered by the difficulty of evaluating such generalization, since a priori, it is rarely clear what makes an instance hard. We study how this issue can be addressed by using large language models (LLMs) to automate benchmark generation, learning to produce increasingly challenging instances in an end-to-end manner. Concretely, given a world parametrized by Datalog rules, and an Edge Transformer as the reasoning evaluator, we use LLM-driven evolutionary search (based on FunSearch) and autonomous agentic search to discover sampling functions that yield hard problem instances. We also show that the Edge Transformer can be improved using this data such that it generalizes well to further data perturbations. Finally, we show that the same machinery can be applied to novel worlds proposed by LLMs, opening the door to autonomous research on neural relational reasoning.
- Abstract（参考訳）: リレーショナル構造に関する推論は、ニューラルネットワークにとって重要な課題であり、特に、学習した知識をトレーニングで見られるものよりも難しい問題インスタンスに体系的に適用する必要がある場合である。
進歩はそのような一般化を評価することの難しさによって妨げられている。
ベンチマーク生成を自動化するために,大規模言語モデル(LLM)を用いることで,この問題にどのように対処できるかを検討する。
具体的には,データログ規則によってパラメータ化された世界とエッジトランスフォーマーを推論評価器として考慮し,LLM駆動の進化的探索(FunSearchに基づく)と自律エージェント探索を用いて,難解なインスタンスを生成するサンプリング関数を探索する。
また、このデータを用いてEdge Transformerを改善することで、さらなるデータ摂動を一般化できることを示す。
最後に、LLMによって提案された新しい世界に同じ機械が適用可能であることを示し、ニューラルリレーショナル推論に関する自律的な研究の扉を開く。
関連論文リスト
- Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities [35.39583123277091]
本稿では,原子タスクの分解と融合に基づくポストトレーニングアルゴリズムを提案する。
再帰的脆弱性検出タスクを4つの線形独立原子タスクに分解する。
合成データセットのトレーニングにより、3つのコンパイラ検証データセットを生成する。
次に、Slitherツールを使用して、制御フローグラフとデータフローグラフから構造情報を抽出する。
論文 参考訳（メタデータ） (2026-01-11T13:52:07Z) - FOL-Pretrain: A complexity annotated corpus of first-order logic [16.061040115094592]
トランスフォーマーベースの大規模言語モデル(LLM)は、顕著な推論能力を示している。
LLMの振る舞いをリバースエンジニアリングしようとする最近の試みにもかかわらず、これらのモデルがどのように複雑なアルゴリズムの内部化と実行を行うかについての理解は依然として限られている。
本稿では,大規模かつ完全にオープンな,一階述語論理推論トレースの複雑性アノテーション付きデータセットを提案する。
論文 参考訳（メタデータ） (2025-05-20T21:38:28Z) - When Do Neural Networks Learn World Models? [8.414327163725622]
ニューラルネットワークが同様の世界モデルを学ぶことができるかどうかについて、最初の理論的結果を示す。
低次バイアスを持つモデルは、軽度の仮定の下で遅延データ生成変数を確実に回復することを示す。
論文 参考訳（メタデータ） (2025-02-13T13:11:54Z) - Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models [31.769428095250912]
Auto-RAGは大規模言語モデル(LLM)の推論機能を中心とした自律的反復検索モデルである
本研究では,反復検索における推論に基づく意思決定命令を自律的に合成する手法を開発した。
Auto-RAGは自然言語で反復的な検索プロセスを表現し、解釈可能性を高める。
論文 参考訳（メタデータ） (2024-11-29T03:01:05Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - Auto-FP: An Experimental Study of Automated Feature Preprocessing for
Tabular Data [10.740391800262685]
機能前処理は、優れたモデル品質を保証するための重要なステップです。
大規模な検索スペースのため、ブルートフォースソリューションは違法に高価である。
我々は、Auto-FP問題を解決するために、様々なHPOおよびNASアルゴリズムを拡張した。
論文 参考訳（メタデータ） (2023-10-04T02:46:44Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。