論文の概要: Serial Position Effects of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15981v1
• Date: Sun, 23 Jun 2024 02:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:33:31.817010
• Title: Serial Position Effects of Large Language Models
• Title（参考訳）: 大規模言語モデルのシリアル位置効果
• Authors: Xiaobo Guo, Soroush Vosoughi,
• Abstract要約: 大規模言語モデル(LLM)は、ゼロショット学習アプリケーションにおいて顕著な能力を示している。 これは、従来の機械学習アプローチから大きく離れている。 これまでの研究では、LSMはプライマリシーやリレーシーバイアスのような連続的な位置効果を示す可能性があることが示されている。
• 参考スコア（独自算出の注目度）: 29.111115148808196
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities in zero-shot learning applications, generating responses to queries using only pre-training information without the need for additional fine-tuning. This represents a significant departure from traditional machine learning approaches. Previous research has indicated that LLMs may exhibit serial position effects, such as primacy and recency biases, which are well-documented cognitive biases in human psychology. Our extensive testing across various tasks and models confirms the widespread occurrence of these effects, although their intensity varies. We also discovered that while carefully designed prompts can somewhat mitigate these biases, their effectiveness is inconsistent. These findings underscore the significance of serial position effects during the inference process, particularly in scenarios where there are no ground truth labels, highlighting the need for greater focus on addressing these effects in LLM applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)はゼロショット学習アプリケーションにおいて顕著な機能を示し、追加の微調整を必要とせずに事前学習情報のみを使用してクエリに対する応答を生成する。 これは、従来の機械学習アプローチから大きく離れている。 以前の研究では、LLMは、人間の心理学においてよく文書化された認知バイアスである予備性や傾向バイアスのような連続的な位置効果を示す可能性があることが示されている。 様々なタスクやモデルにまたがる広範なテストにより、これらの効果の広範な発生が確認されるが、その強度は様々である。 また、慎重に設計されたプロンプトはバイアスを和らげることができるが、その効果は矛盾していることもわかりました。 これらの知見は、特に基礎的な真理ラベルが存在しないシナリオにおいて、推論過程におけるシリアル位置効果の重要性を浮き彫りにし、LLMアプリケーションにおいてこれらの効果にもっと焦点をあてることの必要性を強調している。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Towards detecting unanticipated bias in Large Language Models [1.4589372436314496]
  LLM(Large Language Models)は、従来の機械学習システムと同様の公平性問題を示す。 本研究は、トレーニングデータにおけるバイアスの分析と定量化と、それらのモデルの決定に対する影響に焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T11:25:20Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Hallucinations or Attention Misdirection? The Path to Strategic Value Extraction in Business Using Large Language Models [0.0]
  本稿では,真の幻覚というよりも,注意方向のミス指向を定義した。 本稿では,PGI,ペルソナ,グループ,インテリジェンスといった手法のベストプラクティスを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T18:40:24Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。