論文の概要: What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis

• arxiv url: http://arxiv.org/abs/2609.19212v1
• Date: Wed, 16 Sep 2026 11:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.951579
• Title: What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis
• Title（参考訳）: 現在の一般化タスクの失敗は何か? : 推論中心の分析
• Abstract要約: TranSGridは、一貫したタスク内で、誘因的、帰納的、帰納的推論をもたらすテストベッドです。 4,800 TranSGridインスタンス上の7つのトランスフォーマーによる実験では、すべてのモデルが、保持されたテストセットよりもTranSGrid上ではるかにパフォーマンスが悪いことが示されている。
• 参考スコア（独自算出の注目度）: 31.156417542338403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systematic generalization, the ability to solve novel problems by recombining known atomic elements, is central to human intelligence but difficult to study rigorously under controlled settings. Existing studies therefore rely on simplifications such as approximately linear action composition, productivity-based tests, and action-explicit goals, which make systematic generalization easier to study but omit some essential aspects of this capability. To characterize what these simplifications miss, we adopt a reasoning-centered lens and introduce TranSGrid, a testbed that brings deductive, inductive, and abductive reasoning together within a unified task. Experiments with seven Transformers on 4,800 TranSGrid instances show that all models perform much worse on TranSGrid than on a held-out test set: the largest model solves 79.6% of the test set, but only 55.3% of TranSGrid and 15.8% of the hardest subset. The gap remains within the training length range, showing that productivity alone is not sufficient to evaluate systematic generalization. Additionally, we reintroduce the other two simplifications into TranSGrid: one variant makes actions compose almost linearly (reducing the inductive demand), the other makes goals action-explicit (reducing the abductive one). In both, solve rates return to roughly the test set level, showing that either simplification alone is enough to reduce TranSGrid to an ordinary held-out test set. Together, our results show that existing tasks reduce either or both of the inductive and abductive demands, and that comprehensively measuring systematic generalization requires a task that involves all three forms of reasoning.
• Abstract（参考訳）: 体系的な一般化は、既知の原子要素を再結合することで新しい問題を解決する能力であり、人間の知性の中心であるが、制御された環境下で厳密に研究することは困難である。 したがって、既存の研究は、概ね線形な行動構成、生産性に基づくテスト、および行動明示的な目標といった単純化に依存しており、体系的な一般化をより容易に研究できるが、この能力の本質的な側面を省くことができる。 これらの単純化の欠如を特徴付けるために、推論中心のレンズを採用し、一貫したタスク内に誘引的、帰納的、帰納的推論をもたらすテストベッドであるTranSGridを導入します。 4800のTranSGridインスタンス上の7つのトランスフォーマーによる実験では、すべてのモデルがTranSGridよりもはるかに悪い性能を示しており、最大のモデルはテストセットの79.6%を解決しているが、TranSGridの55.3%と最も難しいサブセットの15.8%しか解決していない。 このギャップはトレーニング期間の範囲内に留まっており、生産性だけでは体系的な一般化を評価するには不十分であることを示している。 さらに、他の2つの単純化をTranSGridに再導入する: 1つの変種は、ほぼ線形に行動を構成する(帰納的需要を減少させる)。 どちらも、解決率はほぼテストセットレベルに戻り、単純化だけでTranSGridを通常のホールドアウトテストセットに還元するのに十分であることを示す。 その結果,既存のタスクは帰納的要求と帰納的要求の両方を減らし,体系的一般化を包括的に測定するには3種類の推論を含むタスクが必要であることがわかった。

関連論文リスト

• CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs [5.42362703313004]
  転帰性推論能力として,RLポストトレーニングが誘拐を改善できるかどうかを問う。 CEDAR-GRPO(CEDAR-GRPO)は,最終回答の正しさと帰納的報酬を結合したプロセス認識フレームワークで,エビデンスカバレッジとエビデンスから説明への方向性を示す。
  論文  参考訳（メタデータ） (2026-08-14T18:02:07Z)
• Generalize and Guide: Decomposing Rewards for Few-Shot Inverse Reinforcement Learning [4.847786820784619]
  逆強化学習(IRL)は、実演から学ぶための強力なフレームワークを提供する。 マルチタスク識別器の近性誘導IRL(MPG)について紹介する。 MPGは,(1)関係タスク間で共有構造を伝達し,新たなタスクにおける専門家の行動を識別する一般化可能な識別器,(2)状態が専門家の行動からどの程度逸脱しているかを計測し,探索中に補正ガイダンスを提供する近接関数,の2つの相補的報酬成分を学習する。
  論文  参考訳（メタデータ） (2026-07-20T09:51:02Z)
• A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
  抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。 既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。 我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
  論文  参考訳（メタデータ） (2026-05-17T06:14:20Z)
• From Atomic to Composite: Reinforcement Learning Enables Generalization in Complementary Reasoning [83.94543243783285]
  本研究では、内部パラメトリック知識と外部コンテキスト情報の統合を必要とする複雑なタスクである補完的推論について検討する。 RLは確率増幅器ではなく推論合成器として機能する。
  論文  参考訳（メタデータ） (2025-12-01T18:27:25Z)
• MixReasoning: Switching Modes to Think [79.70845484191543]
  推論モデルは、ステップバイステップで問題に取り組むことでパフォーマンスを向上させる。 あらゆるステップに拡張推論を適用することは、かなりの冗長性をもたらす。 一つの応答内で推論の深さを動的に調整するフレームワークであるMixReasoningを提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:46:34Z)
• Instilling Inductive Biases with Subnetworks [19.444844580405594]
  サブタスク誘導は、サブタスクを利用したソリューションに対する誘導バイアスを注入する。 本稿では,Subtaskインダクションが,特定の一般化可能なソリューションを採用するために必要なトレーニングデータの量を大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-10-17T00:12:19Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Embedding Adaptation is Still Needed for Few-Shot Learning [25.4156194645678]
  atgは、追加の人間知識なしにトレーニングおよびテストタスクセットを定義するための原則化されたクラスタリング手法である。 既存のベンチマークよりも容易で、相互に、あるいは難しいタスクセットを生成するためのATGの有効性を実証的に実証する。 グラデーションベースのメソッドは、転送が最も困難であるときに、メトリックベースのタスクを上回ることができます。
  論文  参考訳（メタデータ） (2021-04-15T06:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。