論文の概要: Thought without systematicity? Evaluating reasoning models on rule induction tasks
- arxiv url: http://arxiv.org/abs/2609.13948v1
- Date: Sat, 12 Sep 2026 13:45:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.624054
- Title: Thought without systematicity? Evaluating reasoning models on rule induction tasks
- Title（参考訳）: 体系性のない思考 : ルール誘導タスクにおける推論モデルの評価
- Abstract要約: 我々は、既存の推論モデルにおける思考の体系性を評価するために、確立されたルール誘導タスクを認知科学から拡張する。
私たちは、あるタスクを正しく解くことができるにもかかわらず、モデルが同じタスクの構造的に等価な変種で失敗することが多いことに気付きました。
- 参考スコア（独自算出の注目度）: 7.063564727972718
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A central tenet of human cognition is systematicity, the principle that understanding one concept is inherently tied to understanding close variations of that concept. Do reasoning models robustly exhibit such systematicity? If so, we would expect consistent performance on structurally equivalent variants of the same task. Here, we extend established rule induction tasks from cognitive science to assess the systematicity of thought in current reasoning models. Each task family has compositional structure that we use to create structurally equivalent task variations through task isomorphisms such as recombination and substitution. We find that despite being able to correctly solve a task, models often fail on structurally equivalent variants of the same task. These findings suggest that many model behaviors lack systematicity, rendering it difficult to robustly establish the cognitive abilities of reasoning models beyond the particular contexts they were evaluated in.
- Abstract（参考訳）: 人間の認知の中心的な信条は体系性であり、一つの概念を理解することは本質的にその概念の密接なバリエーションを理解することに結びついている。
推論モデルはそのような体系性をしっかりと示すか?
もしそうなら、同じタスクの構造的に等価な変種に対して一貫したパフォーマンスが期待できる。
ここでは、既存の推論モデルにおける思考の体系性を評価するために、認知科学から確立されたルール誘導タスクを拡張した。
各タスク族は構成構造を持ち、リコンビネーションや置換のようなタスク同型を通して構造的に等価なタスク変動を生成する。
私たちは、あるタスクを正しく解くことができるにもかかわらず、モデルが同じタスクの構造的に等価な変種で失敗することが多いことに気付きました。
これらの結果から,多くのモデル行動には体系性が欠如していることが示唆された。
関連論文リスト
- OrigamiBench: An Interactive Environment to Synthesize Flat-Foldable Origamis [28.493060188882314]
物理的な世界で計画し、行動し、創造できるAIシステムを構築するには、パターン認識以上のものが必要です。
このようなシステムは、シーケンシャルな決定を導くために、物理的プロセスを管理する因果的メカニズムや制約を理解する必要がある。
この能力は、内部言語モデルに類似した内部表現に依存しており、観察、行動、その結果の環境変化を関連づけている。
モデルが折り畳みを反復的に提案し,対象設定と物理的妥当性および類似性に関するフィードバックを受け取る,インタラクティブなベンチマークであるOrigamiBenchを紹介する。
論文 参考訳（メタデータ） (2026-03-14T09:33:29Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳（メタデータ） (2026-03-11T07:40:53Z) - Determinism and Indeterminism as Model Artefacts: Toward a Model-Invariant Ontology of Physics [0.0]
私は、物理学における決定論と非決定論の間の伝統的な反対は、存在論よりも表現論的であると論じる。
私はこのモデル等価性を使って、オントロジ的なコミットメントのためのモデル不変の基準を動機付けます。
私は、経験的オープンネスとメタ物理オーバーリーチに対する抵抗を組み合わせた現代物理学のリアリストを提供しています。
論文 参考訳（メタデータ） (2025-12-27T09:41:03Z) - Reasoning Systems as Structured Processes: Foundations, Failures, and Formal Criteria [1.2064681974642195]
我々は、現象、説明空間、推論と生成マップ、原理ベースからなる構造体として推論システムをモデル化する。
我々は,コヒーレンス,健全性,完全性を含む基本的な内部基準と,矛盾,不完全性,非収束性といった典型的な障害モードのカタログを調査する。
この研究の目的は、特に内部の失敗、適応、断片化が発生する可能性のある状況において、推論システムを表現し比較するための基礎構造を確立することである。
論文 参考訳（メタデータ） (2025-08-03T14:04:15Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳（メタデータ） (2025-02-07T17:01:37Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。
既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
論文 参考訳（メタデータ） (2024-05-02T20:10:27Z) - Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。
オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。
大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
論文 参考訳（メタデータ） (2024-02-23T16:50:07Z) - On Principles of Emergent Organization [0.0]
1世紀以上にわたる共同作業の後、物理学は依然として自発的な自己組織化の基本原理を欠いている。
数学的難易度と結果の計算的アプローチの必要性から生じる課題。
組織における2つの現代的な数学的定式化の概要は、これらの課題を克服する方法を定めている。
論文 参考訳（メタデータ） (2023-11-23T00:39:36Z) - Ontology Revision based on Pre-trained Language Models [32.92146634065263]
オントロジーの改訂は、新しいオントロジーを既存のオントロジーにシームレスに組み込むことを目的としている。
不整合は不整合を引き起こし、矛盾するオントロジーを推論する主要な要因であり、無意味な答えが得られる。
この問題に対処するため,様々なオントロジー修正手法が提案されている。
本稿では,事前学習モデルの改訂方法について検討する。
論文 参考訳（メタデータ） (2023-10-27T00:52:01Z) - Generative Models as a Complex Systems Science: How can we make sense of
large language model behavior? [75.79305790453654]
事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。
言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
論文 参考訳（メタデータ） (2023-07-31T22:58:41Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-09-30T18:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。