論文の概要: MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning

• arxiv url: http://arxiv.org/abs/2409.12059v5
• Date: Sat, 26 Jul 2025 16:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 14:15:44.832537
• Title: MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning
• Title（参考訳）: Methanol: 中間層思考、デコーディング、ブートストラップ推論を備えたモジュール化された思考言語モデル
• Authors: Ningyuan Xi, Xiaoyu Wang, Yetao Wu, Teng Chen, Qingqing Gu, Yue Zhao, Jinxian Qu, Zhonglin Jiang, Yong Chen, Luo Ji,
• Abstract要約: モジュラーの観点から言語モデルの思考と認知能力の刺激について考察する。 フレームワーク全体がモジュール化思考言語モデル(MeTHanol)と呼ばれる
• 参考スコア（独自算出の注目度）: 10.478620397712076
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current research efforts are focused on enhancing the thinking and reasoning capability of large language model (LLM) by prompting, data-driven emergence and inference-time computation. In this study, we consider stimulating language model's thinking and cognitive abilities from a modular perspective, which mimics the human brain architecture. We select a specific intermediate attention layer with newly implemented language heads. We conduct dual-layer fine-tuning by annotated (query, thought, answer) samples and show that the intermediate layer can also learn to decode fluent and reasonable language tokens. A two-pass inference mechanism is designed to generate thoughts then formal responses. The entire framework is called modularized thinking language model (MeTHanol) which can enhance LLM's cognitive behaviors as indicated by Theory of Mind (ToM) and Vignette-based experiments. Case studies also show that MeTHanol can plan and self-reflect and generate human-like thoughts and answers, even on unseen and open-domain tasks. MeTHanol can also adapt to a personalized prompt and behave as the specified character. Our study holds promise for significant cognitive gains from a modular perspective. Our code, model and data are available at https://bachozean.github.io/methanol-page
• Abstract（参考訳）: 現在,大規模言語モデル(LLM)の思考と推論能力の向上に焦点が当てられている。 本研究では,人間の脳構造を模倣するモジュール的視点から,言語モデルの思考と認知能力の刺激について考察する。 新たに実装された言語頭を持つ特定の中間注意層を選択する。 我々は、注釈付き(クエリ、思考、回答)サンプルで二重層微調整を行い、中間層が流動的で合理的な言語トークンを復号化することができることを示す。 2パスの推論機構は、思考と形式的な応答を生成するように設計されている。 このフレームワーク全体はモジュール化思考言語モデル(MeTHanol)と呼ばれ、心の理論(ToM)やヴィグネットに基づく実験で示されるように、LLMの認知行動を強化することができる。 ケーススタディでは、MeTHanolが未確認でオープンドメインのタスクでも、計画し、自己認識し、人間のような思考と答えを生成できることも示している。 メタノールはパーソナライズされたプロンプトに適応し、指定された文字として振る舞うこともできる。 我々の研究はモジュラーの観点から大きな認知的利益を約束する。 私たちのコード、モデル、データはhttps://bachozean.github.io/methanol-pageで利用可能です。

関連論文リスト

• On the Thinking-Language Modeling Gap in Large Language Models [68.83670974539108]
  言語と思考のモデリングには大きなギャップがあることが示される。 本稿では,このギャップを実証し緩和するために,Language-of-Thoughts (LoT) と呼ばれる新しいプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2025-05-19T09:31:52Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  我々は,新しいプロンプトフレームワークであるSketch-of-Thought(SoT)を紹介する。 認知に触発された推論パラダイムと言語制約を組み合わせることでトークンの使用を最小化する。 SoTは、無視できる精度の影響でトークンを76%削減する。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Whiteboard-of-Thought: Thinking Step-by-Step Across Modalities [30.96613796974929]
  マルチモーダルな大言語モデルの視覚的推論能力を解き放つための簡単な手法を提案する。 ホワイトボード・オブ・シークレットはモデルに比喩的なホワイトボードを提供し、画像として推論ステップを引き出す。 この単純なアプローチは、4つの難しい自然言語タスクに関する最先端の結果を示す。
  論文  参考訳（メタデータ） (2024-06-20T17:59:45Z)
• What Makes Language Models Good-enough? [11.763229353978321]
  心理学的な研究は、人間が手元にあるタスクに「十分な」言語入力を表現できる可能性を示唆している。 本研究では,言語モデルにどのようなアーキテクチャ的特徴が与える影響について検討する。
  論文  参考訳（メタデータ） (2024-06-06T00:51:28Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• BRAINTEASER: Lateral Thinking Puzzles for Large Language Models [15.95314613982879]
  BRAINTEASERは、横方向の思考を示すモデルの能力をテストするために設計された多重選択質問回答タスクである。 最先端のインストラクションとコモンセンス言語モデルを用いた実験により,人間とモデルの性能の間に大きなギャップがあることが判明した。 横方向の思考モデルの開発と評価作業を促進するために、コードとデータをすべて利用可能にしています。
  論文  参考訳（メタデータ） (2023-10-08T07:46:01Z)
• MindDial: Belief Dynamics Tracking with Theory-of-Mind Modeling for Situated Neural Dialogue Generation [62.44907105496227]
  MindDialは、Mind-of-mindモデリングで位置決め自由形式の応答を生成できる、新しい対話型フレームワークである。 本研究では、話者の信念と話者の聴取者の信念を予測できる明示的なマインドモジュールを導入する。 筆者らのフレームワークは,提案手法と微調整モデルの両方に適用され,共通地盤アライメントとネゴシエーションの両方を含むシナリオで評価される。
  論文  参考訳（メタデータ） (2023-06-27T07:24:32Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Language Models are Bounded Pragmatic Speakers: Understanding RLHF from a Bayesian Cognitive Modeling Perspective [2.8282906214258805]
  本稿では,有界プラグマティック話者と呼ばれる確率論的認知モデルを定式化する。 人間のフィードバックからの強化学習によって微調整された大きな言語モデルは、高速でスローなモデルに似た思考モデルを具現化していることを示す。
  論文  参考訳（メタデータ） (2023-05-28T16:04:48Z)
• Computational Language Acquisition with Theory of Mind [84.2267302901888]
  我々は、心の理論(ToM)を備えた言語学習エージェントを構築し、その学習過程への影響を測定する。 重み付けされたToMリスナーコンポーネントを用いた学習話者は,画像参照ゲームの設定において,性能向上につながることがわかった。
  論文  参考訳（メタデータ） (2023-03-02T18:59:46Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Multilingual Answer Sentence Reranking via Automatically Translated Data [97.98885151955467]
  本稿では,現代の質問応答システム(QA)のコアコンポーネントである,多言語回答文選択(AS2)モデルの設計について述べる。 主なアイデアは、あるリソースリッチ言語(英語など)から、他の言語へのデータ転送であり、リソースの観点からはよりリッチである。
  論文  参考訳（メタデータ） (2021-02-20T03:52:08Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。