論文の概要: From Heuristic to Analytic: Cognitively Motivated Strategies for
Coherent Physical Commonsense Reasoning
- arxiv url: http://arxiv.org/abs/2310.18364v1
- Date: Tue, 24 Oct 2023 19:46:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-05 13:40:07.361025
- Title: From Heuristic to Analytic: Cognitively Motivated Strategies for
Coherent Physical Commonsense Reasoning
- Title（参考訳）: ヒューリスティックから分析へ:コヒーレント物理コモンセンス推論のための認知的動機付け戦略
- Authors: Zheyuan Zhang, Shane Storks, Fengyuan Hu, Sungryull Sohn, Moontae Lee,
Honglak Lee, Joyce Chai
- Abstract要約: ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。
以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 66.98861219674039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained language models (PLMs) have shown impressive performance in
various language tasks. However, they are prone to spurious correlations, and
often generate illusory information. In real-world applications, PLMs should
justify decisions with formalized, coherent reasoning chains, but this
challenge remains under-explored. Cognitive psychology theorizes that humans
are capable of utilizing fast and intuitive heuristic thinking to make
decisions based on past experience, then rationalizing the decisions through
slower and deliberative analytic reasoning. We incorporate these interlinked
dual processes in fine-tuning and in-context learning with PLMs, applying them
to two language understanding tasks that require coherent physical commonsense
reasoning. We show that our proposed Heuristic-Analytic Reasoning (HAR)
strategies drastically improve the coherence of rationalizations for model
decisions, yielding state-of-the-art results on Tiered Reasoning for Intuitive
Physics (TRIP). We also find that this improved coherence is a direct result of
more faithful attention to relevant language context in each step of reasoning.
Our findings suggest that human-like reasoning strategies can effectively
improve the coherence and reliability of PLM reasoning.
- Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、様々な言語タスクにおいて印象的なパフォーマンスを示している。
しかし、それらはしばしば相関関係を生じやすく、しばしば説明的な情報を生成する。
現実世界のアプリケーションでは、PLMは形式化された一貫性のある推論チェーンで決定を正当化する必要があるが、この課題は未解決のままである。
認知心理学は、人間が高速で直感的なヒューリスティックな思考を活用して過去の経験に基づいて意思決定を行い、より遅く、思慮深い分析的推論を通じて決定を合理化することができると理論化している。
PLMによる微調整および文脈内学習にこれらの相互結合二重プロセスを導入し、コヒーレントなコモンセンス推論を必要とする2つの言語理解タスクに適用する。
提案するヒューリスティック・アナリシス・推論(har)戦略はモデル決定の合理化のコヒーレンスを劇的に改善し,直観的物理学の階層的推論(trip)に最先端の結果をもたらすことを示した。
また、この改良されたコヒーレンスが、推論の各ステップにおいて、関連する言語コンテキストに対するより忠実な注意の直接の結果であることも分かりました。
以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
関連論文リスト
- Unlocking Structured Thinking in Language Models with Cognitive Prompting [0.0]
本研究では,大規模言語モデルにおける問題解決を導く新しい手法として認知的プロンプトを提案する。
メタのLLaMAモデルにおいて認知的プロンプトの有効性を評価する。
論文 参考訳（メタデータ） (2024-10-03T19:53:47Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。
思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。
以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-17T08:59:04Z) - Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳（メタデータ） (2024-02-20T12:58:14Z) - Igniting Language Intelligence: The Hitchhiker's Guide From
Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。
LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。
最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
論文 参考訳（メタデータ） (2023-11-20T14:30:55Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。
具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。
PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
論文 参考訳（メタデータ） (2023-05-28T04:22:26Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-21T16:23:47Z) - ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。
我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。
ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
論文 参考訳（メタデータ） (2022-10-06T01:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。