論文の概要: Serial Position Effects of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15981v1
• Date: Sun, 23 Jun 2024 02:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:33:31.817010
• Title: Serial Position Effects of Large Language Models
• Title（参考訳）: 大規模言語モデルのシリアル位置効果
• Authors: Xiaobo Guo, Soroush Vosoughi,
• Abstract要約: 大規模言語モデル(LLM)は、ゼロショット学習アプリケーションにおいて顕著な能力を示している。 これは、従来の機械学習アプローチから大きく離れている。 これまでの研究では、LSMはプライマリシーやリレーシーバイアスのような連続的な位置効果を示す可能性があることが示されている。
• 参考スコア（独自算出の注目度）: 29.111115148808196
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities in zero-shot learning applications, generating responses to queries using only pre-training information without the need for additional fine-tuning. This represents a significant departure from traditional machine learning approaches. Previous research has indicated that LLMs may exhibit serial position effects, such as primacy and recency biases, which are well-documented cognitive biases in human psychology. Our extensive testing across various tasks and models confirms the widespread occurrence of these effects, although their intensity varies. We also discovered that while carefully designed prompts can somewhat mitigate these biases, their effectiveness is inconsistent. These findings underscore the significance of serial position effects during the inference process, particularly in scenarios where there are no ground truth labels, highlighting the need for greater focus on addressing these effects in LLM applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)はゼロショット学習アプリケーションにおいて顕著な機能を示し、追加の微調整を必要とせずに事前学習情報のみを使用してクエリに対する応答を生成する。 これは、従来の機械学習アプローチから大きく離れている。 以前の研究では、LLMは、人間の心理学においてよく文書化された認知バイアスである予備性や傾向バイアスのような連続的な位置効果を示す可能性があることが示されている。 様々なタスクやモデルにまたがる広範なテストにより、これらの効果の広範な発生が確認されるが、その強度は様々である。 また、慎重に設計されたプロンプトはバイアスを和らげることができるが、その効果は矛盾していることもわかりました。 これらの知見は、特に基礎的な真理ラベルが存在しないシナリオにおいて、推論過程におけるシリアル位置効果の重要性を浮き彫りにし、LLMアプリケーションにおいてこれらの効果にもっと焦点をあてることの必要性を強調している。

関連論文リスト

• LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation [28.61326111959728]
  大規模言語モデル(LLM)は評価タスク、特に優先的に評価し、自己生成したコンテンツを好む場合に重大なバイアスを示す。 本研究では,この知識ギャップを,検索強化世代(RAG)フレームワークの2つの重要なフェーズをシミュレートすることによって解決する。 以上の結果とは対照的に,RAGフレームワークに有意な自己選好効果は認められなかった。
  論文  参考訳（メタデータ） (2024-10-28T08:32:09Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Downstream bias mitigation is all you need [2.7824025230291003]
  本稿では,大規模言語モデル(LLM)による事前学習および微調整後のタスク固有行動におけるバイアスの程度について検討する。 事前トレーニングが重要であることは分かっていますが、モデルが事前トレーニングされた後、微調整データセットにおける共起率のわずかな変化でさえ、モデルのバイアスに大きな影響を及ぼします。
  論文  参考訳（メタデータ） (2024-08-01T14:52:04Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Towards detecting unanticipated bias in Large Language Models [1.4589372436314496]
  LLM(Large Language Models)は、従来の機械学習システムと同様の公平性問題を示す。 本研究は、トレーニングデータにおけるバイアスの分析と定量化と、それらのモデルの決定に対する影響に焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T11:25:20Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。