Fugu-MT 論文翻訳(概要): Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias

論文の概要: Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias

arxiv url: http://arxiv.org/abs/2405.15739v2
Date: Wed, 29 May 2024 12:50:49 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 11:33:46.815265
Title: Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias
Title（参考訳）: 強化サイテーションバイアスを用いた大規模言語モデルによる人間のクエンテーションパターンの反映
Authors: Andres Algaba, Carmen Mazijn, Vincent Holst, Floriano Tori, Sylvia Wenmackers, Vincent Ginis,
Abstract要約: サイテーションの実践は科学知識の構造を形成するのに不可欠である。 GPT-4のような大規模言語モデル(LLM)の出現は、これらのプラクティスに新たなダイナミクスをもたらす。本稿では,GPT-4で推奨される参照の特性と潜在的なバイアスについて分析する。
参考スコア（独自算出の注目度）: 1.7812428873698407
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Citation practices are crucial in shaping the structure of scientific knowledge, yet they are often influenced by contemporary norms and biases. The emergence of Large Language Models (LLMs) like GPT-4 introduces a new dynamic to these practices. Interestingly, the characteristics and potential biases of references recommended by LLMs that entirely rely on their parametric knowledge, and not on search or retrieval-augmented generation, remain unexplored. Here, we analyze these characteristics in an experiment using a dataset of 166 papers from AAAI, NeurIPS, ICML, and ICLR, published after GPT-4's knowledge cut-off date, encompassing 3,066 references in total. In our experiment, GPT-4 was tasked with suggesting scholarly references for the anonymized in-text citations within these papers. Our findings reveal a remarkable similarity between human and LLM citation patterns, but with a more pronounced high citation bias in GPT-4, which persists even after controlling for publication year, title length, number of authors, and venue. Additionally, we observe a large consistency between the characteristics of GPT-4's existing and non-existent generated references, indicating the model's internalization of citation patterns. By analyzing citation graphs, we show that the references recommended by GPT-4 are embedded in the relevant citation context, suggesting an even deeper conceptual internalization of the citation networks. While LLMs can aid in citation generation, they may also amplify existing biases and introduce new ones, potentially skewing scientific knowledge dissemination. Our results underscore the need for identifying the model's biases and for developing balanced methods to interact with LLMs in general.
Abstract（参考訳）: サイテーションの実践は科学的知識の構造を形成するのに不可欠であるが、それらは現代の規範や偏見の影響を受けていることが多い。 GPT-4のような大規模言語モデル(LLM)の出現は、これらのプラクティスに新たなダイナミクスをもたらす。興味深いことに、LLMが推奨する参照の特徴と潜在的なバイアスは、そのパラメトリックな知識に完全に依存しており、検索や検索強化世代に依存していない。本稿では,これらの特徴を,GPT-4の知識遮断日後に公表されたAAAI,NeurIPS,ICML,ICLRの166論文のデータセットを用いて解析した。実験では,GPT-4は,これらの論文の中で匿名化されたインテキストの引用を学術的に参照することを提案する。 GPT-4では, 出版年, タイトル長, 著者数, 会場数などをコントロールした上でも, 高い引用バイアスが持続している。さらに、GPT-4の既存の参照と存在しない参照の特徴との間に大きな一貫性が見られ、モデルが励起パターンを内部化していることが示される。引用グラフを解析することにより, GPT-4で推奨される参照が関連する引用コンテキストに埋め込まれていることが示され, 引用ネットワークのより深い概念的内部化が示唆された。 LLMは引用生成に役立つが、既存のバイアスを増幅し、新しいバイアスを導入し、科学的知識の拡散を引き起こす可能性がある。この結果から,モデルのバイアスを同定し,LLMと一般に相互作用するバランスの取れた手法を開発する必要性が示唆された。

関連論文リスト

Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
RAGは大規模言語モデル(LLM)を強化するために広く採用されている。分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
論文参考訳（メタデータ） (2024-07-01T20:47:47Z)
An Empirical Analysis on Large Language Models in Debate Evaluation [10.677407097411768]
GPT-3.5 や GPT-4 のような先進大言語モデル (LLM) の機能と固有バイアスを議論評価の文脈で検討する。 GPT-3.5 と GPT-4 の両者に一貫した偏りがみられた。また, GPT-3.5 および GPT-4 の語彙バイアスも明らかにした。
論文参考訳（メタデータ） (2024-05-28T18:34:53Z)
REASONS: A benchmark for REtrieval and Automated citationS Of scieNtific Sentences using Public and Proprietary LLMs [41.64918533152914]
本研究では,大言語モデル(LLM)が2種類の文クエリに基づいて参照を生成することができるかどうかを検討する。約20万件の研究論文から, 公立及びプロプライエタリなLCMについて, 以下を引用する。本研究は,自動引用生成タスクにおけるRAGの信頼性に関する貴重な知見を提供する。
論文参考訳（メタデータ） (2024-05-03T16:38:51Z)
CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文参考訳（メタデータ） (2023-11-30T16:52:42Z)
When Large Language Models Meet Citation: A Survey [37.01594297337486]
大規模言語モデル(LLM)は、対応するテキストコンテキストを介して詳細な引用情報を取得するのに役立つ。キュリオシティはまた、科学論文間のつながりを確立し、高品質な文書間関係を提供する。本稿では, 引用分類, 引用に基づく要約, 引用レコメンデーションを含む, テキスト内引用分析タスクへのLLMの適用について概説する。
論文参考訳（メタデータ） (2023-09-18T12:48:48Z)
Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
論文参考訳（メタデータ） (2023-08-21T01:32:45Z)
Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
論文参考訳（メタデータ） (2023-05-24T11:53:29Z)
Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文参考訳（メタデータ） (2023-04-19T10:16:03Z)
G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
論文参考訳（メタデータ） (2023-03-29T12:46:54Z)
Correcting Exposure Bias for Link Recommendation [31.799185352323807]
露出バイアスは、ユーザーが特定の関連項目に体系的に過小評価されているときに生じる。このバイアスを軽減するために、既知の露光確率を利用する推定器を提案する。我々の手法は、推奨論文の研究分野においてより多様性をもたらす。
論文参考訳（メタデータ） (2021-06-13T16:51:41Z)
Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
引用グラフを用いて科学論文の要約作業を再定義します。我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
論文参考訳（メタデータ） (2021-04-07T11:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。