論文の概要: Beyond Human-Like Processing: Large Language Models Perform Equivalently on Forward and Backward Scientific Text

• arxiv url: http://arxiv.org/abs/2411.11061v1
• Date: Sun, 17 Nov 2024 12:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:32:32.682465
• Title: Beyond Human-Like Processing: Large Language Models Perform Equivalently on Forward and Backward Scientific Text
• Title（参考訳）: ヒューマンライクな処理を超えて:フォワードとバックワードの科学的テキストで同等に機能する大規模言語モデル
• Authors: Xiaoliang Luo, Michael Ramscar, Bradley C. Love,
• Abstract要約: 大規模言語モデル (LLM) は, 前方および後方の両方において, 人間の専門家のパフォーマンスを上回りうることを示す。 この結果は,気象予測やタンパク質設計など,さまざまな領域にわたるトランスフォーマーの成功と一致している。 言語課題におけるLLMの成功を人為的なメカニズムの証拠として解釈する上での注意が必要である。
• 参考スコア（独自算出の注目度）: 2.6456264788330848
• License:
• Abstract: The impressive performance of large language models (LLMs) has led to their consideration as models of human language processing. Instead, we suggest that the success of LLMs arises from the flexibility of the transformer learning architecture. To evaluate this conjecture, we trained LLMs on scientific texts that were either in a forward or backward format. Despite backward text being inconsistent with the structure of human languages, we found that LLMs performed equally well in either format on a neuroscience benchmark, eclipsing human expert performance for both forward and backward orders. Our results are consistent with the success of transformers across diverse domains, such as weather prediction and protein design. This widespread success is attributable to LLM's ability to extract predictive patterns from any sufficiently structured input. Given their generality, we suggest caution in interpreting LLM's success in linguistic tasks as evidence for human-like mechanisms.
• Abstract（参考訳）: 大規模言語モデル(LLM)の印象的な性能は、人間の言語処理のモデルとして考慮されてきた。 LLMの成功はトランスフォーマー学習アーキテクチャの柔軟性から生じることを示唆する。 この予想を評価するために、私たちは、前方または後方の形式で科学的なテキストに基づいてLSMを訓練した。 後向きテキストは人間の言語の構造と矛盾するが、LLMは神経科学ベンチマークのいずれの形式でも同等に機能し、前向きと後向きの両方で人間の専門家のパフォーマンスを損なうことがわかった。 この結果は,気象予測やタンパク質設計など,さまざまな領域にわたるトランスフォーマーの成功と一致している。 この広範な成功は、十分に構造化された入力から予測パターンを抽出するLLMの能力に起因する。 汎用性を考えると,LLMの言語的タスクにおける成功を人間的なメカニズムの証拠として解釈する上で注意が必要である。

関連論文リスト

• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
  大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。 我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。 テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
  論文  参考訳（メタデータ） (2023-12-30T14:20:04Z)
• Psychometric Predictive Power of Large Language Models [32.31556074470733]
  命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。 命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
  論文  参考訳（メタデータ） (2023-11-13T17:19:14Z)
• Potential Benefits of Employing Large Language Models in Research in Moral Education and Development [0.0]
  近年,計算機科学者は大規模言語コーパスと人間強化を用いた予測モデルを訓練することで,大規模言語モデル(LLM)を開発した。 LLMが道徳教育・開発研究にどのように貢献するかについて検討する。
  論文  参考訳（メタデータ） (2023-06-23T22:39:05Z)
• How Does Pretraining Improve Discourse-Aware Translation? [41.20896077662125]
  本稿では,事前学習した言語モデルが会話関係の知識を捉える能力を理解するための探索タスクを提案する。 我々は、エンコーダ-、デコーダ-、およびエンコーダ-デコーダ-ベースモデルの3つの最先端PLMを検証する。 本研究は, PLMにおける言論的知識が下流作業にどのように機能するか, どのように機能するかを理解するための指導的手法である。
  論文  参考訳（メタデータ） (2023-05-31T13:36:51Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
  本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。 我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-11-10T05:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。