論文の概要: On the Role of Citations in Preference Data

• arxiv url: http://arxiv.org/abs/2608.21376v1
• Date: Mon, 06 Jul 2026 18:17:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.318217
• Title: On the Role of Citations in Preference Data
• Title（参考訳）: 選好データにおけるCitationsの役割について
• Abstract要約: 本稿では,科学的質問応答の文脈における人間の判断と4つのオープンソースLCMの嗜好における引用の役割について検討する。 我々は、人間はより多様な引用を好むが、全体としては少ないこと、LLMは人間と比較して引用に関連する好みを示すことを発見した。
• 参考スコア（独自算出の注目度）: 23.740706807692632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many NLP tasks require systems to provide attribution in their outputs--i.e. citations to grounding sources. Attribution serves as a bulwark against model hallucination and as a means for users to verify the credibility of model outputs. Yet, it is unclear how humans and LLMs evaluate citations when comparing outputs, a process central to reward modeling and modern LLM post-training. This paper studies the role of citations in the preferences of human judges and four open-source LLMs within the context of scientific question answering, leveraging mixed effects models to investigate the influence of citations on pairwise judgments. Among our key findings are (1) that humans prefer more diverse citations but fewer overall, and (2) that LLMs show some citation-related preferences compared to humans, despite lacking access to the sources, but these preferences depend on the data and specific models. We further discuss the implications of our findings for preference data collection.
• Abstract（参考訳）: 多くのNLPタスクは出力に属性を与えるシステムを必要とする。 アトリビューションは、モデル幻覚に対する揺らぎとして機能し、ユーザーがモデル出力の信頼性を検証する手段として機能する。 しかし、人間とLLMがアウトプットを比較する際にどのように引用を評価するか、報酬モデリングと現代のLLMポストトレーニングの中心となるプロセスは不明確である。 本稿では, 科学的質問応答の文脈において, 人間の判断と4つのオープンソースLCMの選好における引用の役割について検討し, 混合効果モデルを用いて, 引用が対の判断に与える影響について検討する。 主な発見は,(1)人間はより多様な引用を好むが,全体としては少ないこと,(2) LLMは資料へのアクセスに欠けるにもかかわらず,人間に比べて引用に関連する嗜好を示すが,これらの嗜好はデータや特定のモデルに依存している。 選好データ収集における本研究の意義についても論じる。

関連論文リスト

• Data, Not Model: Explaining Bias toward LLM Texts in Neural Retrievers [76.92519309816008]
  近年の研究では、ニューラルレトリバーは、人間が書いたものよりもLSMが生成する経路を優先して、ソースバイアスをしばしば示している。 このバイアスはレトリバーの固有の欠陥と考えられており、現代の情報アクセスシステムの公平性と信頼性に関する懸念を提起している。 我々の研究は、ソースバイアスがモデル自体ではなく、検索データセットの監督に起因していることを示すことで、この見解に挑戦する。
  論文  参考訳（メタデータ） (2026-04-07T17:57:07Z)
• CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
  本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。 LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。 CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
  論文  参考訳（メタデータ） (2026-03-25T16:42:30Z)
• Aligning Large Language Model Behavior with Human Citation Preferences [45.80355133880463]
  本研究では,人間の引用嗜好と大規模言語モデル(LLM)の行動との関係について検討する。 以上の結果から,ヒトは医療用テキストの引用を最も多く求めており,より強いモデルは同様の傾向を示した。
  論文  参考訳（メタデータ） (2026-02-05T02:02:43Z)
• How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
  本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。 言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。 本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
  論文  参考訳（メタデータ） (2025-08-25T06:43:27Z)
• Evaluation of Attribution Bias in Generator-Aware Retrieval-Augmented Large Language Models [47.694137341509304]
  大規模言語モデルにおける著者情報に対する属性感度とバイアスを評価する。 文献に著者情報を追加することで, LLMの属性品質を3%から18%大きく変化させることができることを示す。 その結果,資料のメタデータがLCMの信頼度や回答の属性に影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-16T08:55:49Z)
• Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias [1.7812428873698407]
  サイテーションの実践は科学的知識の構造を形成するのに不可欠であるが、それらは現代の規範や偏見の影響を受けていることが多い。 LLM(Large Language Models)の出現は、これらのプラクティスに新たなダイナミクスをもたらす。 本稿では,これらの特徴を,AAAI,NeurIPS,ICML,ICLRのデータセットを用いて解析する。
  論文  参考訳（メタデータ） (2024-05-24T17:34:32Z)
• WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations [34.99831757956635]
  我々は,属性付きクエリ中心要約 (AQFS) のタスクを定式化するとともに,7kの人称注釈の要約を引用した中国語データセットであるWebCiteSを提示する。 これらの課題に対処するために、詳細なメトリクスを開発し、自動評価器が文を細かな検証のためにサブステートに分解できるようにする。
  論文  参考訳（メタデータ） (2024-03-04T07:06:41Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Enabling Large Language Models to Generate Text with Citations [37.64884969997378]
  大規模言語モデル (LLM) は情報検索のツールとして広く使われている。 我々の目的は、LLMが引用文を生成できるようにし、その事実の正しさと妥当性を向上させることである。 自動LLMのCitation Evaluationのための最初のベンチマークであるALCEを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。