論文の概要: On the Reasoning Capacity of AI Models and How to Quantify It

• arxiv url: http://arxiv.org/abs/2501.13833v1
• Date: Thu, 23 Jan 2025 16:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:10.426793
• Title: On the Reasoning Capacity of AI Models and How to Quantify It
• Title（参考訳）: AIモデルの推論能力と定量化方法について
• Authors: Santosh Kumar Radha, Oktay Goktas,
• Abstract要約: 大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have intensified the debate surrounding the fundamental nature of their reasoning capabilities. While achieving high performance on benchmarks such as GPQA and MMLU, these models exhibit limitations in more complex reasoning tasks, highlighting the need for more rigorous evaluation methodologies. We propose a novel phenomenological approach that goes beyond traditional accuracy metrics to probe the underlying mechanisms of model behavior, establishing a framework that could broadly impact how we analyze and understand AI systems. Using positional bias in multiple-choice reasoning tasks as a case study, we demonstrate how systematic perturbations can reveal fundamental aspects of model decision-making. To analyze these behaviors, we develop two complementary phenomenological models: a Probabilistic Mixture Model (PMM) that decomposes model responses into reasoning, memorization, and guessing components and an Information-Theoretic Consistency (ITC) analysis that quantifies the relationship between model confidence and strategy selection. Through controlled experiments on reasoning benchmarks, we show that true reasoning remains challenging for current models, with apparent success often relying on sophisticated combinations of memorization and pattern matching rather than genuine logical deduction. More fundamentally, we demonstrate that accuracy alone often overstates a model's reasoning abilities, as model behavior can be characterized through underlying mechanisms in the phase space of cognitive strategies, revealing how models dynamically balance different approaches when responding to queries. This framework enables quantitative criteria for real-world deployments, allowing applications to specify reliability thresholds based on strategy distributions rather than aggregate performance metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、それらの推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクの制限を示し、より厳密な評価手法の必要性を強調している。 我々は、モデル行動の基盤となるメカニズムを探索し、AIシステムの分析と理解の方法に広く影響を与える可能性のあるフレームワークを確立するために、従来の精度指標を超えて、新しい現象論的アプローチを提案する。 複数選択推論タスクにおける位置バイアスをケーススタディとして、系統的な摂動がモデル決定の基本的な側面を明らかにすることを実証する。 これらの振る舞いを分析するために、モデル応答を推論、記憶、推測に分解する確率混合モデル(PMM)と、モデル信頼と戦略選択の関係を定量化する情報理論一貫性(ITC)分析という2つの相補的現象論モデルを開発した。 推論ベンチマークの制御実験を通じて、現在のモデルでは真の推論は依然として困難なままであり、明らかな成功はしばしば真の論理的推論ではなく、記憶とパターンマッチングの洗練された組み合わせに依存している。 より根本的には、モデルの振る舞いは認知戦略のフェーズ空間における基本的なメカニズムを通じて特徴付けられるので、精度だけではモデルの推論能力が過大に記述されることが示され、モデルがクエリに応答する際に異なるアプローチを動的にバランスさせる方法が明らかになる。 このフレームワークは、実世界のデプロイメントの定量的基準を可能にし、アプリケーションはパフォーマンスメトリクスを集約するのではなく、戦略分布に基づいて信頼性のしきい値を指定することができる。

関連論文リスト

• Revisiting Spurious Correlation in Domain Generalization [12.745076668687748]
  データ生成プロセスにおける因果関係を記述するために,構造因果モデル(SCM)を構築した。 さらに、スプリアス相関に基づくメカニズムを徹底的に分析する。 そこで本研究では,OOD一般化における共起バイアスの制御について,相対性スコア重み付き推定器を導入して提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:22:00Z)
• SynthTree: Co-supervised Local Model Synthesis for Explainable Prediction [15.832975722301011]
  本稿では,最小限の精度で説明可能性を向上させる手法を提案する。 我々は,AI技術を利用してノードを推定する新しい手法を開発した。 我々の研究は、統計的方法論が説明可能なAIを前進させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-16T14:43:01Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Distribution-consistency Structural Causal Models [6.276417011421679]
  我々は,新しいテクスト分布-一貫性仮定を導入し,それに合わせて分布-一貫性構造因果モデル(DiscoSCM)を提案する。 モデルキャパシティの強化を具体化するために,DiscoSCM単独で実用的重要性を有する新たな因果パラメータ,一貫性のテキスト化(textitthe probability of consistency)を導入する。
  論文  参考訳（メタデータ） (2024-01-29T06:46:15Z)
• Incorporating Domain Knowledge in Deep Neural Networks for Discrete Choice Models [0.5801044612920815]
  本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。 これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。 ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
  論文  参考訳（メタデータ） (2023-05-30T12:53:55Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• General multi-fidelity surrogate models: Framework and active learning strategies for efficient rare event simulation [1.708673732699217]
  複雑な現実世界のシステムの失敗の確率を推定することは、しばしば違法に高価である。 本稿では,頑健な多要素代理モデリング戦略を提案する。 高忠実度モデル呼び出しの数を劇的に削減しながら、非常に正確であることが示されている。
  論文  参考訳（メタデータ） (2022-12-07T00:03:21Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。