論文の概要: Authority Bias in Conversational Search Engines for Academic Paper Recommendation
- arxiv url: http://arxiv.org/abs/2609.00248v1
- Date: Mon, 31 Aug 2026 18:49:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.01285
- Title: Authority Bias in Conversational Search Engines for Academic Paper Recommendation
- Title(参考訳): 学術論文推薦のための対話型検索エンジンのオーソリティバイアス
- Abstract要約: 権威バイアスは、著者の権威、場所、引用に基づく論文を内容よりも体系的に選好する。
我々の実験では、権威バイアスは実質的かつ指向性があり、モデルによって顕著に異なり、プロンプトレベルのデバイアスによって部分的にしか対処できないことが示されている。
- 参考スコア(独自算出の注目度): 6.79278450433167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used as conversational search engines for academic literature, yet whether they judge papers on content or on authority signals has not been tested causally. We investigate authority bias: systematic preference for papers based on author prestige, venue, and citations rather than content. Holding title and abstract constant, we vary authority metadata across three counterfactual conditions (original, flipped, boosted) over eight LLMs (five open-weight and three frontier closed-weight) in an in-context, single-turn, top-1 recommendation setting. Our experiments show that authority bias is substantial and directional, varies markedly across models, and is only partially addressable through prompt-level debiasing. We further document a say-do gap: debiasing instructions suppress authority mentions far faster than authority-driven flips, so surface auditing systematically underestimates behavioral bias.
- Abstract(参考訳): 大規模言語モデル (LLMs) は, 学術文献の対話型検索エンジンとしての利用が増えているが, 内容や権威信号の判断は慎重に行われていない。
著者の権威、場所、引用に基づく論文を、内容よりも体系的に選好する。
タイトルと抽象定数を保持することで、インコンテキスト、シングルターン、トップ1レコメンデーション設定において、8つのLLM(5つのオープンウェイトと3つのフロンティアクローズウェイト)に対して、3つのカウンターファクト条件(元、フリップ、ブースト)の権威メタデータを変化させます。
我々の実験では、権威バイアスは実質的かつ指向性があり、モデルによって顕著に異なり、プロンプトレベルのデバイアスによって部分的にしか対処できないことが示されている。
権限の偏見を抑える命令は当局主導のフリップよりもはるかに早く言及されるので、表面監査は行動バイアスを体系的に過小評価する。
関連論文リスト
- When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳(メタデータ) (2026-04-26T08:03:32Z) - CRISP: Characterizing Relative Impact of Scholarly Publications [70.25915589244961]
本稿では,大規模言語モデル(LLM)を用いた引用論文の中で,引用論文の全てを共同でランク付けするCRISPを提案する。
LLMの位置バイアスを軽減するために、ランダムな順序で各リストを3回ランク付けし、多数決によって影響ラベルを集約する。
CRISPは従来の最先端の衝撃分類器の精度を+9.5%、F1を+8.3%で上回っている。
論文 参考訳(メタデータ) (2026-03-25T16:42:30Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳(メタデータ) (2026-02-26T19:17:39Z) - SemanticCite: Citation Verification with AI-Powered Full-Text Analysis and Evidence-Based Reasoning [0.0]
本稿では,全文ソース解析による引用精度の検証を行うAIシステムであるSemanticCiteを紹介する。
提案手法は,複数の検索手法と,ニュアンスド・クレーム・ソース関係を抽出する4クラス分類システムを組み合わせたものである。
我々は、詳細なアライメント、機能分類、セマンティックアノテーション、およびバイオロメトリメタデータを備えた1000以上の引用からなる包括的なデータセットをコントリビュートする。
論文 参考訳(メタデータ) (2025-11-20T10:05:21Z) - ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。
難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。
実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
論文 参考訳(メタデータ) (2025-10-12T11:11:20Z) - Evaluating Large Language Models as Expert Annotators [17.06186816803593]
本稿では,トップパフォーマンス言語モデルが,人間の専門家アノテータの直接的な代替として機能するかどうかを考察する。
我々は、金融、バイオメディシン、法という3つの専門分野にまたがる個別のLCMとマルチエージェントのアプローチを評価した。
実験結果から,推定時間的手法を具備した個々のLSMは,限界あるいは負の利得しか示さないことが明らかとなった。
論文 参考訳(メタデータ) (2025-08-11T10:19:10Z) - The Noisy Path from Source to Citation: Measuring How Scholars Engage with Past Research [20.649638393774048]
本稿では,大規模な引用忠実度を定量化する計算パイプラインを提案する。
論文の全文を用いて、パイプラインは引用論文における引用と引用論文における対応するクレームを識別する。
準実験を用いて「電話効果」を確立する - 引用論文が原主張に忠実度が低い場合、引用論文と原文を引用する将来の論文は原文に忠実度が低い。
論文 参考訳(メタデータ) (2025-02-27T22:47:03Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳(メタデータ) (2023-11-24T17:27:39Z) - Neural Media Bias Detection Using Distant Supervision With BABE -- Bias
Annotations By Experts [24.51774048437496]
本稿ではメディアバイアス研究のための頑健で多様なデータセットであるBABEについて述べる。
トピックとアウトレットの間でバランスが取れた3,700の文で構成されており、単語と文のレベルにメディアバイアスラベルが含まれている。
また,本データに基づいて,ニュース記事中のバイアス文を自動的に検出する手法も導入した。
論文 参考訳(メタデータ) (2022-09-29T05:32:55Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。