論文の概要: Unlocking Structured Thinking in Language Models with Cognitive Prompting

• arxiv url: http://arxiv.org/abs/2410.02953v3
• Date: Sat, 30 Nov 2024 12:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 21:01:15.775823
• Title: Unlocking Structured Thinking in Language Models with Cognitive Prompting
• Title（参考訳）: 認知的プロンプトを用いた言語モデルにおける構造化思考の解錠
• Authors: Oliver Kramer, Jill Baumann,
• Abstract要約: 大規模言語モデル(LLM)における問題解決を導く新しいアプローチとして認知的プロンプトを提案する。 本稿では,認知操作の決定論的シーケンス,自己適応型,ハイブリッド型という3つの変種を紹介する。 LLaMA, Gemma2, Qwenの各モデルの算術的推論ベンチマークGSM8Kにおける実験により、認知的プロンプトは標準的な質問応答に比べて性能が大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose cognitive prompting as a novel approach to guide problem-solving in large language models (LLMs) through structured, human-like cognitive operations, such as goal clarification, decomposition, filtering, abstraction, and pattern recognition. By employing systematic, step-by-step reasoning, cognitive prompting enables LLMs to tackle complex, multi-step tasks more efficiently. We introduce three variants: a deterministic sequence of cognitive operations, a self-adaptive variant in which the LLM dynamically selects the sequence of cognitive operations, and a hybrid variant that uses generated correct solutions as few-shot chain-of-thought prompts. Experiments with LLaMA, Gemma~2, and Qwen models in each two sizes on the arithmetic reasoning benchmark GSM8K demonstrate that cognitive prompting significantly improves performance compared to standard question answering.
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)において,目標の明確化,分解,フィルタリング,抽象化,パターン認識といった,人間の様の認知操作を通じて問題解決を導く新しい手法として認知プロンプトを提案する。 体系的でステップバイステップの推論を用いることで、認知的プロンプトにより、LLMはより効率的に複雑なマルチステップタスクに取り組むことができる。 本稿では,認知操作の決定論的シーケンス,LLMが動的に認知操作のシーケンスを選択する自己適応的バリエーション,生成した正しい解を数発のチェーン・オブ・シークレットのプロンプトとして利用するハイブリッド変種という3つの変種を紹介する。 LLaMA, Gemma~2, Qwen の2つのサイズで, 算術的推論ベンチマーク GSM8K を用いた実験により, 認知の促進により, 標準的な質問応答と比較して, 性能が大幅に向上することを示した。

関連論文リスト

• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Cognitive Prompts Using Guilford's Structure of Intellect Model [0.0]
  大規模言語モデル(LLM)は強力な言語生成能力を示すが、しばしば構造化推論に苦しむ。 本稿では,モデル応答の明瞭さ,コヒーレンス,適応性を向上させるために,SOIにインスパイアされた推論を強制する新しい認知促進手法を提案する。
  論文  参考訳（メタデータ） (2025-03-27T23:06:30Z)
• Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
  我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。 FoTは、最も関連性の高い推論パスを選択するためにスパースアクティベーション戦略を採用し、効率と精度の両方を改善している。
  論文  参考訳（メタデータ） (2024-12-12T09:01:18Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [35.43513487137371]
  大規模言語モデル(LLM)は人工知能、特に推論タスクにおいて大きな進歩を遂げている。 本稿では, 帰納的推論と帰納的推論を動的に統合することにより, LLM推論を強化するDID法を提案する。 以上の結果から,DIDはLLMにおける推論のための,より堅牢で認知に整合した枠組みを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning [0.0]
  反復的人間のエンゲージメントは、大規模言語モデル(LLM)の高度な言語処理能力を活用するための一般的かつ効果的な手段である。 思考の反復(IoT)フレームワークを提案する。 静的アプローチや半静的アプローチとは異なり、IoTは進化するコンテキストに基づいて推論パスを動的に適応する。
  論文  参考訳（メタデータ） (2024-09-19T09:44:17Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
  大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。 本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。 我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
  論文  参考訳（メタデータ） (2024-07-12T14:13:06Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Verbalized Probabilistic Graphical Modeling with Large Language Models [8.961720262676195]
  この研究は、大規模言語モデルによる学習自由ベイズ推論を促進する新しいベイズ急進的アプローチを導入している。 本研究は,AI言語理解システムの改善の可能性を示すとともに,信頼性評価とテキスト生成品質を効果的に向上させることを示唆する。
  論文  参考訳（メタデータ） (2024-06-08T16:35:31Z)
• Rethinking ChatGPT's Success: Usability and Cognitive Behaviors Enabled by Auto-regressive LLMs' Prompting [5.344199202349884]
  本研究では,2種類の大規模言語モデルと6種類のタスク固有チャネルにおけるモーダル性の構造を分析した。 本研究では,LLMにおける多様な認知行動の刺激について,自由形テキストと言語文脈の導入を通して検討する。
  論文  参考訳（メタデータ） (2024-05-17T00:19:41Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。