論文の概要: ThinkProbe: Beyond Accuracy -- Structural Profiling of Open-Ended LLM Reasoning Traces via Non-Generative Thought Graphs
- arxiv url: http://arxiv.org/abs/2606.29067v1
- Date: Sat, 27 Jun 2026 19:56:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.776809
- Title: ThinkProbe: Beyond Accuracy -- Structural Profiling of Open-Ended LLM Reasoning Traces via Non-Generative Thought Graphs
- Title（参考訳）: ThinkProbe: 正確性を超えて - 非生成的思考グラフによるLLM推論トレースの構造的プロファイリング
- Abstract要約: ThinkProbeは、推論トレースの構造解析のためのフレームワークである。
各トレースをサイクル、8ノードタイプ、6エッジタイプを備えたThought Graphに変換する。
ThinkProbeは、推論構造が安定したモデルレベルのプロパティであることを明らかにする。
- 参考スコア（独自算出の注目度）: 4.5194910739268925
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present ThinkProbe, a framework for structural analysis of LLM reasoning traces. ThinkProbe converts each trace into a Thought Graph a directed graph with cycles, 8 node types, and 6 edge types and derives a 19-metric five-dimensional cognitive profile (5D-CP: Breadth, Depth, Structure, Metacognitive, Efficiency) through a fully non-generative pipeline combining rule-based segmentation and discriminative semantic linking. Applied to 4{,}200 traces from 7 native reasoning models across 200 open-ended questions and 10 cognitive domains, ThinkProbe reveals that reasoning structure is a stable, model-level property: between-model variance exceeds between-domain variance by up to fourfold across four of five cognitive dimensions, with Structure showing genuine sensitivity to question domain, exposing qualitatively distinct cognitive profiles invisible to accuracy-based evaluation.
- Abstract（参考訳）: 本稿では,LLM推論トレースの構造解析フレームワークThinkProbeを提案する。
ThinkProbeは、各トレースを、サイクル、8つのノードタイプ、6つのエッジタイプを持つ有向グラフに変換し、ルールベースのセグメンテーションと識別的セマンティックリンクを組み合わせた完全な非生成パイプラインを通じて、19の5次元認知プロファイル(5D-CP: Breadth, Depth, Structure, Metacognitive, efficiency)を導出する。
4{,}200のトレースでは、200のオープンエンドな質問と10の認知ドメインにわたる7つのネイティブな推論モデルから、推論構造が安定したモデルレベルの特性であることを明らかにしている。
関連論文リスト
- MindTopo: Can Foundation Models Reason in Topological Space? [52.56750995613252]
我々は,認知科学と形式的トポロジに基づく5つの特性のトポロジ的直観のベンチマークであるMindTopoを紹介する。
MindTopoは、それぞれの特性を2つの認知レベルで評価する。Reasoning氏は、トポロジカルな関係を識別するか、どのように変化するかをモデルに求める。
すべてのMLLMは、計画よりも推論に優れており、最高のパフォーマンスモデルは、人間のパフォーマンスよりもはるかに低いままです。
論文 参考訳（メタデータ） (2026-09-10T17:54:32Z) - CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models [3.991518853474585]
我々は,認知タスクが保証次元ラベルをいつ得点するかを決定するためのベンチマークであるCogArenaを紹介する。
55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。
グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。
論文 参考訳（メタデータ） (2026-07-27T18:56:13Z) - RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought [50.36951914894845]
身体的推論は、物理的環境におけるタスク関連オブジェクトや空間を知覚するモデルを必要とする。
現在の視覚言語モデルは、テキストのみまたはコーディネートで拡張されたチェーン・オブ・思想に依存している。
我々は、あらゆる推論ステップを視覚的証拠にピン留めする構造化推論パラダイムであるPinned Chain-of-Thoughtを提案する。
論文 参考訳（メタデータ） (2026-06-14T11:30:42Z) - ComBench: A Benchmark for Rigorous Proof Reasoning and Constructive Realization in Olympiad-Level Combinatorics [95.15900681087088]
我々は,Olympiadレベルの診断用ベンチマークであるComBenchと,大規模言語モデルの推論機能を紹介する。
ComBenchには、補完的な2つの設定で整理された100の人間注釈の競合レベルの問題が含まれている。
実験の結果、最強モデルはAvg.全体65.4%、Best@4.3%に達した。
論文 参考訳（メタデータ） (2026-06-09T06:50:15Z) - AI Mental Models: Learned Intuition and Deliberation in a Bounded Neural Architecture [0.0]
本稿では,有界なニューラルアーキテクチャが,シロジカル推論ベンチマーク上での直観と熟考の間に有意義な分断を生じさせるかどうかを問う。
実験1では、5倍のクロスバリデーションの下で、完全な9方向の人間の応答分布を予測するための直接神経ベースラインを評価した。
実験2では、計算的精神モデル理論に動機づけられた、直観と熟考の別々の経路を持つ有界なデュアルパスアーキテクチャを導入する。
論文 参考訳（メタデータ） (2026-03-23T20:44:38Z) - I Know What I Don't Know: Latent Posterior Factor Models for Multi-Evidence Probabilistic Reasoning [0.0]
本稿では,遅延後続因子 (LPF) をSum-Product Network (SPN) 推論のソフトな可能性因子に変換するフレームワークとして紹介する。
LPF を LPF-SPN (structured Factor-based inference) と LPF-Learned (end-to-end learned aggregate) とみなす。
8つのドメイン(7つの合成およびFEVERベンチマーク)で、LPF-SPNは高い精度(最大97.8%)、低い校正誤差(ECE 1.4%)、強い確率適合を達成する。
論文 参考訳（メタデータ） (2026-03-13T10:05:14Z) - TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models [0.0]
TACIT Benchmarkは、6つの推論領域にわたる10のタスクからなるプログラム的なビジュアル推論ベンチマークである。
このベンチマークでは、モデルが決定論的コンピュータビジョンパイプラインを通じて検証されたソリューションイメージを生成する必要がある生成トラックと、構造的に妥当なニアミストラクタを備えた5方向の多重選択を提供する識別トラックの2トラック評価が提供されている。
論文 参考訳（メタデータ） (2026-02-27T11:45:26Z) - From Chains to Graphs: Self-Structured Reasoning for General-Domain LLMs [52.0811904328273]
現実の推論には、複数の前提を統合し、サブプロブレムを並列に解決する必要がある。
最近のアプローチでは、外部に提供されたグラフに依存しており、LCMが独自のグラフ構造化推論を構築し、利用する方法については検討していない。
我々は,LLMが最終回答を生成する前に,その推論プロセスを構造化グラフとして明示的に表現できるフレームワークであるSelf-Graph Reasoning (SGR)を提案する。
論文 参考訳（メタデータ） (2026-01-07T05:27:41Z) - BRIDGE: Building Representations In Domain Guided Program Verification [67.36686119518441]
BRIDGEは、検証をコード、仕様、証明の3つの相互接続ドメインに分解する。
提案手法は, 標準誤差フィードバック法よりも精度と効率を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-11-26T06:39:19Z) - Cognitive Foundations for Reasoning and Their Manifestation in LLMs [63.12951576410617]
大規模言語モデル(LLM)は複雑な問題を解くが、単純な変種では失敗し、人間の推論と根本的に異なるメカニズムによって正しい出力を達成することを示唆している。
我々は認知科学研究を、推論不変量、メタ認知制御、推論と知識の組織化のための表現、変換操作にまたがる28の認知要素の分類学に合成する。
複雑な問題に対して66.7%の性能向上を図り、成功構造を自動的に把握するテストタイム推論ガイダンスを開発した。
論文 参考訳（メタデータ） (2025-11-20T18:59:00Z) - Emergent Cognitive Convergence via Implementation: A Structured Loop Reflecting Four Theories of Mind [0.0]
我々は、心の4つの影響力のある理論の間に構造的な収束を報告する。
収束は、エージェントフローと呼ばれる実用的なAIアーキテクチャの中で意図せずに現れる。
本稿では,知的アーキテクチャが,実践的制約によって形成される共有構造パターンへと進化する可能性を示唆する。
論文 参考訳（メタデータ） (2025-07-22T02:54:45Z) - ProtoReasoning: Prototypes as the Foundation for Generalizable Reasoning in LLMs [54.154593699263074]
ProtoReasoningは、大規模推論モデルの推論能力を高めるフレームワークである。
ProtoReasoningは問題を対応するプロトタイプ表現に変換する。
ProtoReasoningは論理的推論に基づくベースラインモデルよりも4.7%改善されている。
論文 参考訳（メタデータ） (2025-06-18T07:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。