論文の概要: Thoughts without Thinking: Reconsidering the Explanatory Value of Chain-of-Thought Reasoning in LLMs through Agentic Pipelines

• arxiv url: http://arxiv.org/abs/2505.00875v1
• Date: Thu, 01 May 2025 21:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.842311
• Title: Thoughts without Thinking: Reconsidering the Explanatory Value of Chain-of-Thought Reasoning in LLMs through Agentic Pipelines
• Title（参考訳）: 思考のない思考:エージェントパイプラインによるLLMの連鎖推論の解説的価値を再考する
• Authors: Ramesh Manuvinakurike, Emanuel Moss, Elizabeth Anne Watkins, Saurav Sahay, Giuseppe Raffa, Lama Nachman,
• Abstract要約: エージェントパイプラインは、人間中心の説明可能性の新たな課題と機会を提供する。 本稿では,認知的タスクガイダンスシステムのエージェントパイプライン実装による早期発見について述べる。
• 参考スコア（独自算出の注目度）: 8.72060285437636
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Agentic pipelines present novel challenges and opportunities for human-centered explainability. The HCXAI community is still grappling with how best to make the inner workings of LLMs transparent in actionable ways. Agentic pipelines consist of multiple LLMs working in cooperation with minimal human control. In this research paper, we present early findings from an agentic pipeline implementation of a perceptive task guidance system. Through quantitative and qualitative analysis, we analyze how Chain-of-Thought (CoT) reasoning, a common vehicle for explainability in LLMs, operates within agentic pipelines. We demonstrate that CoT reasoning alone does not lead to better outputs, nor does it offer explainability, as it tends to produce explanations without explainability, in that they do not improve the ability of end users to better understand systems or achieve their goals.
• Abstract（参考訳）: エージェントパイプラインは、人間中心の説明可能性の新たな課題と機会を提供する。 HCXAIコミュニティは、LLMの内部動作を行動可能な方法で透過的にする方法に、依然として不満を抱いている。 エージェントパイプラインは、最小限の人間の制御と協調して動作する複数のLLMで構成されている。 本稿では,認知的タスク指導システムのエージェントパイプライン実装による早期発見について述べる。 定量的および定性的な分析を通じて, LLMにおける説明可能性の共通手段であるChain-of-Thought(CoT)推論が, エージェントパイプライン内でどのように動作するかを分析する。 我々は、CoT推論だけではより良いアウトプットを導き出せず、説明可能性のない説明をしがちであり、エンドユーザがシステムを理解したり、目標を達成する能力を改善することはないことを実証する。

関連論文リスト

• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• ChainBuddy: An AI Agent System for Generating LLM Pipelines [2.7624021966289605]
  ChainBuddyは、ChainForgeプラットフォームに組み込まれたAIワークフロー生成アシスタントである。 単一のプロンプトまたはチャットから、ChainBuddyは、ユーザの要求に応じてChainForgeでスターター評価パイプラインを生成する。 AIアシストを使用すると、参加者は要求の少ない作業負荷を報告し、より自信を持ち、LCMの振る舞いを評価する高品質なパイプラインを作成しました。
  論文  参考訳（メタデータ） (2024-09-20T15:42:33Z)
• Faithfulness vs. Plausibility: On the (Un)Reliability of Explanations from Large Language Models [26.11408084129897]
  大規模言語モデル(LLM)は、いくつかの自然言語処理(NLP)アプリケーションのための強力なツールとしてデプロイされる。 最近の研究は、現代のLSMが自己説明(Ses)を生成できることを示している。 LLMが生成するSEの忠実度と妥当性の両立を論じる。
  論文  参考訳（メタデータ） (2024-02-07T06:32:50Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。