論文の概要: ARCANA: A Benchmark for Abstraction and Analogical Reasoning

• arxiv url: http://arxiv.org/abs/2610.29271v1
• Date: Wed, 21 Oct 2026 06:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.258215
• Title: ARCANA: A Benchmark for Abstraction and Analogical Reasoning
• Title（参考訳）: ARCANA: 抽象化とアナロジ的推論のためのベンチマーク
• Abstract要約: 我々は Abstraction and Reasoning Corpus of ANAlogy (ARCANA) というアナログ推論ベンチマークを導入する。 ARCANAのタスクは、現実世界のオブジェクトや物理現象から抽象グリッドベースの変換まで、非常に類似したマッピングを実行する必要がある。 このギャップに対処するために,概念スリップ,イントロスペクション,リフレクションに基づく推論フレームワークであるConceptSIRを提案する。
• 参考スコア（独自算出の注目度）: 40.39333668557699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analogical reasoning is widely considered a fundamental component of human intelligence. Few benchmarks are designed to explicitly test far analogical reasoning - reasoning between domains that are superficially dissimilar yet share deep relational or structural similarities. In this work, we introduce an analogical reasoning benchmark called Abstraction and Reasoning Corpus of ANAlogy (ARCANA). The tasks of ARCANA require performing far analogical mappings from real-world objects or physical phenomena to abstract grid-based transformations, different from the well-known ARC-AGI benchmark which primarily emphasized innate human priors. We validate ARCANA through a human study, demonstrating that humans solve these tasks reliably. In contrast, evaluations across a range of large language models show a distinct performance gap compared to humans, revealing systematic failure modes that remain challenging for current models. To address this gap, we propose ConceptSIR, a reasoning framework based on concept slippage, introspection, and reflection. Experiments demonstrate that ConceptSIR enables standard LLMs to solve several challenging ARCANA tasks that were unsolved by direct prompting in our evaluation. Overall, our results suggest that far analogical reasoning remains an open problem for contemporary LLMs. All the materials are available at sites.google.com/view/arcanacogtest. The complete codebase, including benchmark, and ConceptSIR, is publicly available at https://github.com/density-11/arcana-test. All ARCANA data and task instances can be accessed and explored at https://arcanacogtest.org/.
• Abstract（参考訳）: 分析的推論は人間の知性の基本的構成要素として広く考えられている。 表面的に異なるが深い関係性や構造的な類似性を共有するドメイン間の推論という、非常に類似した推論を明示的にテストするように設計されたベンチマークはほとんどない。 本研究では,アナロジーの抽象化と推論コーパス (ARCANA) という類似の推論ベンチマークを導入する。 ARCANAのタスクは、現実世界のオブジェクトや物理現象から抽象グリッドベースの変換まで、非常に類似したマッピングを実行する必要がある。 我々はARCANAを人間の研究によって検証し、人間がこれらの課題を確実に解決することを実証した。 対照的に、幅広い大規模言語モデルに対する評価は、現在のモデルでは困難な体系的な障害モードを明らかにするため、人間と異なるパフォーマンスギャップを示す。 このギャップに対処するために,概念スリップ,イントロスペクション,リフレクションに基づく推論フレームワークであるConceptSIRを提案する。 実験により,コンセプションSIRにより,本評価における直接的プロンプトによって未解決のARCANAタスクを,標準LLMが解決できることが実証された。 以上の結果から, 従来のLLMでは, 極端に類似した推論が未解決の問題として残ることが示唆された。 資料はすべてサイト.google.com/view/arcanacogtestで入手できる。 ベンチマークやConceptSIRを含む完全なコードベースはhttps://github.com/density-11/arcana-testで公開されている。 すべてのARCANAデータとタスクインスタンスにアクセスし、https://arcanacogtest.org/.comで探索することができる。

関連論文リスト

• Milestones over Outcome: Unlocking Geometric Reasoning with Sub-Goal Verifiable Reward [67.00373428443879]
  サブゴールレベルの評価と学習へのパラダイムシフトを導入する。 まず,厳密な形式検証データエンジンを用いたベンチマークであるGeoGoalを構築した。 本研究では,スケルトンレートに基づいて,スパース信号を高密度な報酬に置き換えるサブゴール検証リワード(SGVR)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-08T16:17:56Z)
• Think Visually, Reason Textually: Vision-Language Synergy in ARC [94.15522924153264]
  ARC-AGIは、概念ルールの誘導と新しいタスクへの転送のための厳格なテストベッドである。 既存のほとんどの手法は、ARC-AGIを純粋にテキストによる推論タスクとして扱い、人間が視覚的抽象化に強く依存しているという事実を見落としている。 VLSR(Vision-Language Synergy Reasoning)とMSSC(Modality-Switch Self-Correction)の2つの相乗的戦略を導入する。 本研究は,視覚的抽象と言語的推論を一体化させることが,汎用的な人間的な知性を実現するための重要なステップであることを示唆している。
  論文  参考訳（メタデータ） (2025-11-19T18:59:04Z)
• ARC Is a Vision Problem! [50.59206008530851]
  視覚パラダイム内のARCを画像から画像への変換問題として定義する。 私たちのフレームワークであるVision ARCは、ARC-1ベンチマークで60.4%の精度を実現しています。
  論文  参考訳（メタデータ） (2025-11-18T18:59:49Z)
• GIFARC: Synthetic Dataset for Leveraging Human-Intuitive Analogies to Elevate AI Reasoning [7.09254962218677]
  最先端モデルは2024年のARCコンペティションで40-55%の精度しか達成していない。 本稿では、類似に着想を得たARCデータセットGIFARCを紹介する。 GIFARCは、ブルートフォースパターン検索に参加する前に、AIエージェントがタスクを類似的に評価するように誘導する。
  論文  参考訳（メタデータ） (2025-05-27T03:42:51Z)
• LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations [50.431003245201644]
  GPT-4 は 1D-ARC や単純な ARC サブセットのような非言語領域で完全に「推論」できないことを示す。 本稿では,外部ツールから得られるオブジェクトベース表現を提案する。これにより,解決されたARCタスクのパフォーマンスがほぼ倍増し,より簡単な1D-ARC上でのほぼ完璧なスコアが得られた。
  論文  参考訳（メタデータ） (2023-05-26T16:32:17Z)
• The ConceptARC Benchmark: Evaluating Understanding and Generalization in the ARC Domain [0.0]
  ARC(Abstraction and Reasoning Corpus)の詳細な評価ベンチマークについて述べる。 特に、ARCドメインで公開された新しいベンチマークであるConceptARCについて説明する。 本ベンチマークでは,3つのマシンソルバとともに,人体実験結果について報告する。
  論文  参考訳（メタデータ） (2023-05-11T21:06:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。