論文の概要: BAIT: Can LLMs Find What Biases a Reader? A Benchmark for Cognitive Bias Triggers in News
- arxiv url: http://arxiv.org/abs/2610.28092v1
- Date: Tue, 20 Oct 2026 12:09:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.800264
- Title: BAIT: Can LLMs Find What Biases a Reader? A Benchmark for Cognitive Bias Triggers in News
- Title（参考訳）: BAIT:LLMは読者のバイアスを見つけることができるか? ニュースの認知バイアストリガーのベンチマーク
- Abstract要約: 説得的な文章は認知バイアスを悪用し、読者の精神的なショートカットを雇って信念を形成する。
このようなメンタルショートカットを利用した言語的特徴を認知バイアストリガーと呼んでいる。
本稿では,ニュース中の認知バイアスを検知するためのリソースであるBAITを紹介する。
- 参考スコア（独自算出の注目度）: 6.639791768771342
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Persuasive writing exploits cognitive biases, recruiting a reader's mental shortcuts to shape belief, often without the reader noticing. We call the linguistic features exploiting such mental shortcuts cognitive bias triggers. As large language models (LLMs) increasingly mediate how people encounter news, summarizing it, ranking it, and answering questions over it, a natural question is whether they can recognize the features of a text that bias a human reader. We introduce BAIT (Bias Annotation In Text), a resource for detecting cognitive bias triggers in news. BAIT pairs a schema of nine triggers, each specified in an annotator codebook, with 50 English news articles annotated by trained annotators at the article and span levels and adjudicated into a gold standard. On this data we define two tasks, detecting which triggers a text contains and locating the spans that carry them. We then benchmark six frontier LLMs zero-shot and with three or ten in-context examples. The models approach human agreement on which triggers an article contains, but rarely recover its full set of triggers, and they reach less than half of human agreement in locating the passages that carry them. Moreover, they over-predict triggers that come with easy surface cues, and most of the passages they mark for these triggers are not triggers, yet carry the trigger's surface cue far more often than random text. These findings suggest that the evaluated LLMs respond to surface cues rather than to the mechanisms that make a passage manipulative. We release the schema, the codebook, standoff annotations, and the evaluation pipeline.
- Abstract（参考訳）: 説得的な文章は認知バイアスを悪用し、読者の精神的なショートカットを雇って信念を形成する。
このようなメンタルショートカットを利用した言語的特徴を認知バイアストリガーと呼んでいる。
大きな言語モデル(LLM)は、人々がニュースにどのように遭遇するか、それを要約し、ランク付けし、質問に答えるかを、ますます仲介している。
本稿では,ニュース中の認知バイアスを検知するリソースであるBAIT(Bias Annotation In Text)を紹介する。
BAITは、アノテータのコードブックに記載された9つのトリガのスキーマと、アノテータの訓練されたアノテータによって注釈付けされた50の英ニュース記事とをペアリングし、レベルを拡大し、ゴールド標準に適応する。
このデータに基づいて2つのタスクを定義します。
次に、6つのフロンティアLSMをゼロショットでベンチマークし、3つか10のインコンテキストの例を示します。
モデルは、記事がどのトリガーを含むかという人間の合意に近づきますが、そのトリガーの完全なセットを回復することは滅多にありません。
さらに、簡単な表面の手がかりが伴うトリガーを過度に予測し、それらトリガーにマークされるほとんどのパスはトリガーではなく、ランダムテキストよりもはるかに頻繁にトリガーの表面のキューを運ぶ。
これらの結果から, LLMは通過操作機構よりも表面刺激に反応することが示唆された。
スキーマ、コードブック、スタンドオフアノテーション、評価パイプラインをリリースしています。
関連論文リスト
- Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models [46.12812175336961]
大規模視覚言語モデル(LVLM)のための社会的バイアス評価手法を提案する。
本手法はガードレール付きLVLMであっても拒絶を回避し,信頼性の高いバイアス測定を可能にする。
最新の20のLVLMに適用すると、すべてのモデルが、人間に関係のないタスクにおいて、ユーザー人口統計情報を好ましくは使わないことが分かる。
論文 参考訳（メタデータ） (2026-08-30T06:22:16Z) - HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing [84.84959282480641]
テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。
また、3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。
論文 参考訳（メタデータ） (2026-04-21T04:26:39Z) - Classifying Unreliable Narrators with Large Language Models [23.817691955577835]
本稿では,複数のドメインからのナラティブを人間に注釈付けしたデータセットTUNaを提案する。
ナレーション内,ナレーション間,テキスト間不確実性の分類タスクを定義する。
実世界のテキストデータに基づいて,信頼できないナレーター分類を行うために,文献からの学習を提案する。
論文 参考訳（メタデータ） (2025-06-11T23:17:12Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳（メタデータ） (2024-04-16T12:27:54Z) - If there's a Trigger Warning, then where's the Trigger? Investigating Trigger Warnings at the Passage Level [27.59190563321366]
トリガーは、この内容が一部の読者グループによって有害であると認識された場合、機密性の高い内容の文書を序文で警告する。
しかし、どの部分で警告を割り当てたのかは不明だ。
本稿では,文書のトリガーパスを手動と計算の両方で識別できる可能性について検討する。
論文 参考訳（メタデータ） (2024-04-15T09:37:52Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳（メタデータ） (2023-09-28T13:19:43Z) - Unsupervised Extractive Summarization of Emotion Triggers [56.50078267340738]
我々は、感情を共同で検出し、トリガーを要約できる新しい教師なし学習モデルを開発した。
Emotion-Aware Pagerankと題された私たちのベストアプローチは、外部ソースからの感情情報と言語理解モジュールを組み合わせたものです。
論文 参考訳（メタデータ） (2023-06-02T11:07:13Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Automatic Detection of Entity-Manipulated Text using Factual Knowledge [19.186417923475144]
操作されたニュース記事は、人間が書いたニュース記事のように振る舞うことで、読者を誤解させる可能性がある。
本稿では,この論文に言及されている事実を推論して,操作されたニュース記事を検出するニューラルネットワークベースの検出器を提案する。
提案手法は,グラフ畳み込みニューラルネットワークによる事実知識と,ニュース記事のテキスト情報を利用する。
論文 参考訳（メタデータ） (2022-03-19T15:35:59Z) - Emotion Carrier Recognition from Personal Narratives [74.24768079275222]
パーソナル・ナラティブズ(Personal Narratives、PN)は、自分の経験から事実、出来事、思考を回想するものである。
感情キャリア認識(ECR)のための新しい課題を提案する。
論文 参考訳（メタデータ） (2020-08-17T17:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。