論文の概要: PotARCin: Multi-Dimensional Evaluation of Skill Acquisition in Abstract Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2609.27288v1
• Date: Wed, 23 Sep 2026 03:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.855663
• Title: PotARCin: Multi-Dimensional Evaluation of Skill Acquisition in Abstract Reasoning Tasks
• Title（参考訳）: PotARCin:抽象推論タスクにおけるスキル獲得の多次元評価
• Abstract要約: Abstraction and Reasoning Corpus (ARC)は、AIモデルを評価するための重要なベンチマークとなっている。 標準ARC評価では、テスト入力に対して正しい出力グリッドを生成するという単一の能力しか考慮していない。 タスクの基本となる抽象ルールを5次元にわたって理解することでARCを拡張するベンチマークであるPotARCinを紹介する。
• 参考スコア（独自算出の注目度）: 4.615968287396474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Abstraction and Reasoning Corpus (ARC) has become a prominent benchmark for evaluating general abstract reasoning and fluid intelligence in AI models. Yet standard ARC evaluation considers only a single capability: producing the correct output grid for a test input. We argue that this narrow format fails to evaluate the diversity of abilities that genuine abstract skill acquisition should enable. We introduce PotARCin, a benchmark that extends ARC by assessing understanding of a task's underlying abstract rule across five dimensions: Definition, Classification, Constrained Generation, Editing, and Inversion. PotARCin employs programmatic methods to generate new task instances and transform given inputs for a given ARC task, enabling dynamic generative sampling beyond fixed input-output pairs. Across five state-of-the-art models evaluated on the ARC-AGI-1 training set, we observe a 25-52 percentage-point performance gap between standard ARC evaluation and evaluation on PotARCin, and find that multi-dimensional evaluation reorders models that standard accuracy ranks alike. We further investigate effects of generative sampling, difficulty of corruption types, and questions of self-consistency, showing that models frequently contradict their own formalized rule even where they have stated it correctly. We also introduce P-ARC, a held-out hand-crafted test set, on which models achieve 1-8% accuracy across all five dimensions, underscoring the importance of more holistic evaluations of abstract reasoning capabilities.
• Abstract（参考訳）: ARC(Abstraction and Reasoning Corpus)は、AIモデルにおける一般的な抽象的推論と流体インテリジェンスを評価するための重要なベンチマークとなっている。 しかし、標準的なARC評価では、テスト入力に対して正しい出力グリッドを生成するという単一の能力しか考慮していない。 この狭いフォーマットは、真の抽象的スキル獲得が実現すべき能力の多様性を評価するのに失敗する、と我々は主張する。 PotARCinは、タスクの基本となる抽象ルール(定義、分類、制約付き生成、編集、反転)の理解を評価することでARCを拡張するベンチマークである。 PotARCinはプログラム的手法を用いて新しいタスクインスタンスを生成し、与えられたARCタスクに対して与えられた入力を変換する。 ARC-AGI-1トレーニングセットで評価した5つの最先端モデルに対して,標準ARC評価とPotARCin評価との25-52のパーセンテージパフォーマンスギャップを観察し,標準精度が同等であるモデルを多次元評価で並べ替えることを見出した。 さらに, 生成的サンプリングの効果, 腐敗の難しさ, 自己整合性に関する疑問について検討し, モデルが正しく表現した場合でも, モデルがそれらの形式的規則に矛盾することが多いことを示す。 また,5次元全体にわたってモデルが1～8%の精度を達成し,抽象的推論能力のより包括的評価の重要性を浮き彫りにした手作り手作りテストセットであるP-ARCについても紹介する。

関連論文リスト

• DiARC: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models [6.391025049342538]
  ARCタスクは、限られたグリッドサンプルからパターンを要約し、出力グリッドを予測する必要がある。 そこで我々は,モデルの識別を可能にするために,選好ペアを構成する方法であるDiARCを提案する。 複数のARCライクなベンチマークでの実験結果から、DiARCはベースラインモデルよりも一貫して性能を改善している。
  論文  参考訳（メタデータ） (2026-06-25T02:10:29Z)
• Tiny Recursive Models on ARC-AGI-1: Inductive Biases, Identity Conditioning, and Test-Time Compute [0.0]
  我々はARC-AGI-1のARC Prize TRMチェックポイントを実験的に分析した。 テストタイムの増大と多数投票の合理化が報告された性能のかなりの部分を占めていることを示す。 また, TRMとLlama 3 8BのQLoRAファインチューンを標準ARC-AGI-1上で比較した。
  論文  参考訳（メタデータ） (2025-12-04T06:20:44Z)
• Think Visually, Reason Textually: Vision-Language Synergy in ARC [94.15522924153264]
  ARC-AGIは、概念ルールの誘導と新しいタスクへの転送のための厳格なテストベッドである。 既存のほとんどの手法は、ARC-AGIを純粋にテキストによる推論タスクとして扱い、人間が視覚的抽象化に強く依存しているという事実を見落としている。 VLSR(Vision-Language Synergy Reasoning)とMSSC(Modality-Switch Self-Correction)の2つの相乗的戦略を導入する。 本研究は,視覚的抽象と言語的推論を一体化させることが,汎用的な人間的な知性を実現するための重要なステップであることを示唆している。
  論文  参考訳（メタデータ） (2025-11-19T18:59:04Z)
• ARC-GEN: A Mimetic Procedural Benchmark Generator for the Abstraction and Reasoning Corpus [3.553493344868413]
  本稿では,ARC-AGIトレーニングデータセットの拡張を目的としたオープンソースプロシージャジェネレータであるARC-GENを紹介する。 これまでの取り組みとは異なり、我々のジェネレータは(全4つのタスクをカバーしている)徹底的かつ緩和的です。 また、このジェネレータを用いて、2025年のGoogle Code Golf Championshipに応募したプログラムの正当性を検証するための静的ベンチマークスイートの確立についても論じる。
  論文  参考訳（メタデータ） (2025-10-31T18:10:05Z)
• RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
  本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。 RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。 現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
  論文  参考訳（メタデータ） (2025-09-29T15:07:28Z)
• LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations [50.431003245201644]
  GPT-4 は 1D-ARC や単純な ARC サブセットのような非言語領域で完全に「推論」できないことを示す。 本稿では,外部ツールから得られるオブジェクトベース表現を提案する。これにより,解決されたARCタスクのパフォーマンスがほぼ倍増し,より簡単な1D-ARC上でのほぼ完璧なスコアが得られた。
  論文  参考訳（メタデータ） (2023-05-26T16:32:17Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。