論文の概要: Explaining Too Much? Understanding How Large Language Model Reasoning Traces Influence Performance and Metacognition

• arxiv url: http://arxiv.org/abs/2605.25856v1
• Date: Mon, 25 May 2026 13:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.227747
• Title: Explaining Too Much? Understanding How Large Language Model Reasoning Traces Influence Performance and Metacognition
• Title（参考訳）: 説明が多すぎるか?大規模言語モデル推論がパフォーマンスとメタ認知にどのように影響するかを理解する
• Authors: Daniela Fernandes, Daniel Buschek, Lev Tankelevitch, Thomas Kosch, Robin Welsch,
• Abstract要約: トレースは透明性のメカニズムとして考えられているが、人々が問題を解決するためにどのように使うのかは定かではない。 参加者は3つの条件のうちの1つで10つのLSAT型推論問題を解いた。
• 参考スコア（独自算出の注目度）: 32.9330613396112
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Model interfaces are increasingly verbose, exposing intermediate reasoning traces alongside final answers. Traces are framed as transparency mechanisms, yet it is unclear how people use them to solve problems. We report a preregistered between-subjects study (N = 559) in which participants solved ten LSAT-style reasoning problems under one of three conditions: an Answer-only baseline, a Full-trace revealed before the answer, and a Summary-trace presented alongside the answer. Summaries preserved task performance at the no-trace baseline while significantly elevating trust and hedonic appeal, establishing that trace exposure shifts subjective appraisal of the interaction without bringing performance benefits. Under an open-weight reasoning model exposing verbose intermediate output, full traces additionally impaired performance relative to the answer-only baseline. Across all conditions, participants substantially overestimated their performance, and no trace format supported calibrated self-evaluation. Further analysis indicates that hedonic appeal, not trust, carries the indirect path to overestimation, consistent with a processing-fluency account. Reasoning traces are best understood as user-facing interface artifacts rather than transparent windows into model cognition, and calibration is unlikely to emerge from the traces themselves and may best be scaffolded by interactions that elicit users' own reasoning first.
• Abstract（参考訳）: 大きな言語モデルインターフェースは次第に冗長になり、最終回答とともに中間的推論トレースが露出する。 トレースは透明性のメカニズムとして考えられているが、人々が問題を解決するためにどのように使うのかは定かではない。 著者らは,回答に先立って回答したアンスワーのみのベースライン,フルトレース,サマリトレースの3つの条件の1つで,LSATスタイルの推論問題を10つ解決した,事前登録した対象間比較研究(N = 559)を報告する。 サマリーは、信頼とヘドニックな魅力を著しく高めながら、非トレースベースラインでのタスクパフォーマンスを保ち、トレース露光がパフォーマンス上の利点をもたらすことなく、インタラクションの主観的な評価を低下させることを示した。 冗長な中間出力を示すオープンウェイト推論モデルの下では、完全なトレースは、回答のみのベースラインに対するパフォーマンスを損なう。 あらゆる条件において、参加者はパフォーマンスを大幅に過大評価し、トレースフォーマットが校正された自己評価をサポートしなかった。 さらなる分析は、信頼ではなくヘドニックな魅力が、処理頻度の口座と整合して、過大評価への間接的な道を持っていることを示している。 推論トレースは、透明なウィンドウをモデル認知に導入するよりも、ユーザ向きのインターフェースアーティファクトとして理解されがちであり、キャリブレーションはトレース自身から現れることはありそうになく、ユーザー自身の推論を最初に引き起こすインタラクションによって足場化されるのが最善である。

関連論文リスト

• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models [9.607579442309639]
  本稿では,トランスペアレント推論と一貫性評価のためのフレームワークであるTRACEを紹介する。 TRACEleverages Auxiliary Reasoning Setsは複雑な問題を分解する。 実験の結果, ARS間の整合性は最終回答の正しさと相関していることがわかった。 TRACEは信頼できない推論パスと信頼できない推論パスを区別する信頼領域を定義する。
  論文  参考訳（メタデータ） (2025-12-05T18:40:18Z)
• Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark [112.46338388724116]
  このタスクでは、ターゲットオブジェクトをローカライズするだけでなく、推論パスを形成する中間オブジェクトを明示的に予測する必要がある。 この分野での研究を進めるために,(1)視覚的推論を評価するための人為的注釈付きベンチマークであるVRT-Bench,(2)推論トレースの質を評価するための新しい指標であるVRT-80k,(3)推論モデルトレーニングのための大規模データセットであるVRT-80kが提案されている。
  論文  参考訳（メタデータ） (2025-12-04T18:55:34Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens [14.78605805191225]
  中間トークンのセマンティクスが「思考」や「推論トレース」として人間化され、実際にモデル性能にどのように影響するかを考察する。 解のみのベースラインが大幅に改善されているにもかかわらず、完全に正しいトレースで訓練されたモデルは、正しい解に到達すると、いまだに不正な推論トレースを生成する。
  論文  参考訳（メタデータ） (2025-05-19T23:29:23Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。