論文の概要: Exploring the LLM Journey from Cognition to Expression with Linear Representations

• arxiv url: http://arxiv.org/abs/2405.16964v2
• Date: Fri, 08 Nov 2024 05:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 18:11:21.407886
• Title: Exploring the LLM Journey from Cognition to Expression with Linear Representations
• Title（参考訳）: 線形表現による認知から表現へのLLM旅の探索
• Authors: Yuzi Yan, Jialian Li, Yipin Zhang, Dong Yan,
• Abstract要約: 本稿では,大規模言語モデル(LLM)における認知的・表現的能力の進化と相互作用について,詳細な検討を行う。 人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)の3つの重要なフェーズにまたがる線形表現を通して、モデルの認知的・表現的能力を定義し、探求する。 SFT, RLHFでは, 認知能力が発達する傾向がみられ, 認知能力が発達する傾向がみられた。
• 参考スコア（独自算出の注目度）: 10.92882688742428
• License:
• Abstract: This paper presents an in-depth examination of the evolution and interplay of cognitive and expressive capabilities in large language models (LLMs), with a specific focus on Baichuan-7B and Baichuan-33B, an advanced bilingual (Chinese and English) LLM series. We define and explore the model's cognitive and expressive capabilities through linear representations across three critical phases: Pretraining, Supervised Fine-Tuning (SFT), and Reinforcement Learning from Human Feedback (RLHF). Cognitive capability is defined as the quantity and quality of information conveyed by the neuron output vectors within the network, similar to the neural signal processing in human cognition. Expressive capability is defined as the model's capability to produce word-level output. Our findings unveil a sequential development pattern, where cognitive abilities are largely established during Pretraining, whereas expressive abilities predominantly advance during SFT and RLHF. Statistical analyses confirm a significant correlation between the two capabilities, suggesting that cognitive capacity may limit expressive potential. The paper also explores the theoretical underpinnings of these divergent developmental trajectories and their connection to the LLMs' architectural design. Moreover, we evaluate various optimization-independent strategies, such as few-shot learning and repeated sampling, which bridge the gap between cognitive and expressive capabilities. This research reveals the potential connection between the hidden space and the output space, contributing valuable insights into the interpretability and controllability of their training processes.
• Abstract（参考訳）: 本稿では,多言語モデル(LLM)における認知的・表現的能力の進化と相互作用について,バイチュアン7Bとバイチュアン33Bに着目して詳細に検討する。 モデルの認知的・表現的能力は,事前学習,監視ファインチューニング(SFT),人間フィードバックからの強化学習(RLHF)の3つの重要なフェーズにまたがる線形表現を通して定義し,検討する。 認知能力は、人間の認知における神経信号処理と同様、ネットワーク内のニューロン出力ベクトルによって伝達される情報の量と品質として定義される。 表現能力は、単語レベルの出力を生成するモデルの能力として定義される。 SFT, RLHFでは, 認知能力が発達する傾向がみられ, 認知能力が発達する傾向がみられた。 統計的分析は2つの能力の間に有意な相関があることを確認し、認知能力が表現力を制限する可能性があることを示唆している。 また,これらの分岐発達軌跡の理論的基盤とLLMの建築設計との関係についても検討した。 さらに,認識能力と表現能力のギャップを埋める,少数ショット学習や繰り返しサンプリングなど,最適化に依存しない様々な戦略を評価する。 この研究は、隠れた空間と出力空間の間の潜在的なつながりを明らかにし、それらのトレーニングプロセスの解釈可能性と制御可能性に関する貴重な洞察に寄与する。

関連論文リスト

• Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
  大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。 LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:47:45Z)
• CogniDual Framework: Self-Training Large Language Models within a Dual-System Theoretical Framework for Improving Cognitive Tasks [39.43278448546028]
  カーネマンの二重系理論は人間の意思決定過程を解明し、素早い直感的なシステム1と合理的なシステム2を区別する。 近年の大きな言語モデル (LLMs) は、認知タスクにおける人間レベルの習熟度に近づきやすいツールとして位置づけられている。 本研究では、自己学習を通じて、意図的な推論から直感的な応答へと進化するLLM(textbfCognidual Framework for LLMs, CFLLMs)について述べる。
  論文  参考訳（メタデータ） (2024-09-05T09:33:24Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Verbalized Probabilistic Graphical Modeling with Large Language Models [8.961720262676195]
  この研究は、大規模言語モデルによる学習自由ベイズ推論を促進する新しいベイズ急進的アプローチを導入している。 本研究は,AI言語理解システムの改善の可能性を示すとともに,信頼性評価とテキスト生成品質を効果的に向上させることを示唆する。
  論文  参考訳（メタデータ） (2024-06-08T16:35:31Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• CogGPT: Unleashing the Power of Cognitive Dynamics on Large Language Models [24.079412787914993]
  本稿では,大規模言語モデル(LLM)の認知力学の概念を提案し,縦断的研究のインスピレーションを得て,それに対応する課題を提案する。 この課題に向けて,LLMの認知力学を評価し,参加者による調査を通じて検証する新しいベンチマークであるCogBenchを開発した。 本稿では,生涯の認知力学の強化を目的とした,革新的な反復的認知機構を特徴とするタスク用CogGPTを紹介する。
  論文  参考訳（メタデータ） (2024-01-06T03:59:59Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• On the Unexpected Abilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は、訓練対象のタスクに直接関連しない幅広い能力を示すことができる。 本稿では,これらの認知能力獲得につながる間接的プロセスの性質,他の間接的プロセスとの関係,統合的能力獲得の意義について論じる。
  論文  参考訳（メタデータ） (2023-08-09T09:15:07Z)
• Can Offline Reinforcement Learning Help Natural Language Understanding? [31.788133426611587]
  オフライン強化学習(RL)と言語モデリング(LM)の関連性について検討する。 RLとLMは、局所的および長期的依存に依存する現在の状態と以前の状態に基づいて、次の状態を予測するのに類似している。 実験結果から, RL事前学習モデルでは, LM学習目標を用いたモデルと比較すると, 性能が良好であることが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T02:55:10Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。