論文の概要: Probing Large Language Models from A Human Behavioral Perspective

• arxiv url: http://arxiv.org/abs/2310.05216v2
• Date: Sat, 13 Apr 2024 15:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 23:37:19.056524
• Title: Probing Large Language Models from A Human Behavioral Perspective
• Title（参考訳）: 人間の行動からみた大規模言語モデルの提案
• Authors: Xintong Wang, Xiaoyu Li, Xingshan Li, Chris Biemann,
• Abstract要約: 大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
• 参考スコア（独自算出の注目度）: 24.109080140701188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as dominant foundational models in modern NLP. However, the understanding of their prediction processes and internal mechanisms, such as feed-forward networks (FFN) and multi-head self-attention (MHSA), remains largely unexplored. In this work, we probe LLMs from a human behavioral perspective, correlating values from LLMs with eye-tracking measures, which are widely recognized as meaningful indicators of human reading patterns. Our findings reveal that LLMs exhibit a similar prediction pattern with humans but distinct from that of Shallow Language Models (SLMs). Moreover, with the escalation of LLM layers from the middle layers, the correlation coefficients also increase in FFN and MHSA, indicating that the logits within FFN increasingly encapsulate word semantics suitable for predicting tokens from the vocabulary.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 しかし、フィードフォワード・ネットワーク(FFN)やマルチヘッド・セルフアテンション(MHSA)といった予測プロセスや内部メカニズムの理解はいまだに未解明のままである。 本研究では,人間の行動的視点からLLMを探索し,LLMの値と視線追跡の指標との関連性を検討した。 その結果,LLM は人間と類似した予測パターンを示すが,Shallow Language Models (SLM) とは異なっていることがわかった。 さらに,中層からLLM層がエスカレーションされると,相関係数はFFNとMHSAも増加し,FFN内のロジットが語彙からトークンを予測するのに適した単語意味論をカプセル化する傾向が示唆された。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficient Semantic Steering in Large Language Models [22.42235251921268]
  本研究では,眼球運動計測法を用いて,層間における大規模言語モデル(LLM)の振る舞いを解釈する。 これらの知見に触発され, ステアリング層選択を導入し, 微調整と推論による層間干渉法に適用した。 提案手法は, 計算資源の97%, トレーニング時間の60%を効率よく節約しつつ, 毒性スコアの点で優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• Bias Amplification in Language Model Evolution: An Iterated Learning Perspective [27.63295869974611]
  我々は,Large Language Models (LLMs) の行動と人間の文化の進化の類似性を描いている。 我々のアプローチは、人間の文化進化においてどのように微妙なバイアスが拡大されるかを解明するベイズ的枠組みである反復学習(IL)を活用することである。 本稿では,ベイジアン・イルフレームワークにおけるエージェントの行動の特徴を概説する。
  論文  参考訳（メタデータ） (2024-04-04T02:01:25Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Psychometric Predictive Power of Large Language Models [32.31556074470733]
  命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。 命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
  論文  参考訳（メタデータ） (2023-11-13T17:19:14Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。