論文の概要: Who Judges the Frame? Auditing Multimodal LLM Judges for News Framing Across Event-Level Perspectives
- arxiv url: http://arxiv.org/abs/2610.00071v1
- Date: Fri, 04 Sep 2026 22:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.348314
- Title: Who Judges the Frame? Auditing Multimodal LLM Judges for News Framing Across Event-Level Perspectives
- Title（参考訳）: 誰がフレームを判断するのか? イベントレベルの観点からのニュースフレームにおけるマルチモーダルLLM判事の監査
- Abstract要約: 本研究は,マルチモーダルニュース報道における大規模フレーミングと視点分析のための尺度として,LLM(Large Language Models)を監査する。
組込み型視点類似度測定とモデルによるフレーミング構造の評価を組み合わさった。
この研究は、ニュースフレーミングとイデオロギー的視点の違いに関する主張と並行して、モダリティ効果、メタデータ感度、即時誘発アーティファクトを報告する必要があることを強調する監査プロトコルに貢献する。
- 参考スコア（独自算出の注目度）: 7.708670900212635
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: News coverage of major world events is shaped not only by what is reported, but also by how events are framed through text, images and their combination. At the same time, Large Language Models (LLMs), including multimodal LLMs, are increasingly used as scalable instruments for analysing framing, sentiment, ideological slant and perspective differences in multimodal media datasets. This creates a methodological challenge. When used as measurement instruments, LLM outputs may reflect not only content properties, but also model-specific tendencies, prompt design choices, and social, political, cultural, linguistic or modality-specific assumptions. This work audits LLMs as instruments for large-scale framing and perspective analysis in multimodal news coverage. Using an event-centered dataset of 2025--2026 news coverage, where each event includes left-, center- and right-oriented articles about the same headline, we combine embedding-based measures of within-event viewpoint similarity with model-based assessments of framing constructs across modality-specific and metadata-visible input conditions. Rather than treating either dataset labels or model outputs as ground truth, our goal is to examine the usefulness and limitations of LLM-based media analysis. The study contributes an audit protocol that highlights the need to report modality effects, metadata sensitivity, and prompt-induced artifacts alongside substantive claims about news framing and ideological viewpoint differences.
- Abstract（参考訳）: 主要な世界イベントのニュース報道は、報告されるものだけでなく、テキストや画像、それらの組み合わせを通じてイベントがどのようにフレーム化されるかによっても形作られます。
同時に、マルチモーダル LLM を含むLarge Language Models (LLM) は、フレーミング、感情、イデオロギー的スラント、マルチモーダルメディアデータセットの視点差を分析するためのスケーラブルな機器として、ますます利用されている。
これは方法論的な課題を生み出します。
測定器として使用される場合、LCMの出力はコンテンツの性質だけでなく、モデル固有の傾向を反映し、デザインの選択を促し、社会的、政治的、文化的、言語的、モダリティ特有の仮定を反映する。
本研究は,マルチモーダルニュース報道における大規模フレーミングと視点分析のための指標としてLLMを監査する。
イベント中心の2025-2026のニュースカバレッジデータセットを用いて、各イベントには、同じ見出しに関する左、中央、右の項目が含まれており、組込みに基づく視点的類似性の尺度と、モダリティに特有かつメタデータに可視な入力条件のフレーミング構成のモデルに基づく評価を組み合わせる。
我々の目標は,データセットラベルやモデルアウトプットを真実として扱うのではなく,LCMに基づくメディア分析の有用性と限界を検討することである。
この研究は、ニュースフレーミングとイデオロギー的視点の違いに関する実質的な主張と並行して、モダリティ効果、メタデータ感度、即時誘発アーティファクトを報告する必要があることを強調する監査プロトコルに貢献する。
関連論文リスト
- Framing Migration News with LLMs: Structured CoT as a Support for Human Interpretation [7.86841540422233]
Llama3-8Bを用いたStructured Chain-of-Thought (SCoT)プロンプト手法を提案する。
SCoTは、ユーザがモデル出力を監査し、本質的に主観的なタスクにおける代替解釈を調べることを可能にする。
我々は、アノテータが「モデルの推論」の一貫性と影響を評価できる人間中心の評価を行う。
論文 参考訳（メタデータ） (2026-06-02T15:15:39Z) - Benchmarking Multimodal Large Language Models for Missing Modality Completion in Product Catalogues [19.732113077201326]
製品イメージの欠如やテキスト記述など、eコマースプラットフォーム上のモダリティの欠如は、しばしばアノテーションエラーや不完全なメタデータから生じる。
マルチモーダルな大規模言語モデルは、eコマースのシナリオで製品に欠けているモダリティを生成することができるか?
本稿では,コンテンツ品質コンプリートベンチマークと推奨ベンチマークの2つのサブベンチマークからなるMMPCBenchを提案する。
我々は、Qwen2.5-VLおよびGemma-3モデルファミリーから、9つの実世界のeコマースカテゴリーの6つの最先端MLLMを評価し、焦点を当てた。
論文 参考訳（メタデータ） (2026-01-27T16:13:26Z) - Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。
現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。
Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文 参考訳（メタデータ） (2025-10-17T02:33:16Z) - Profiling News Media for Factuality and Bias Using LLMs and the Fact-Checking Methodology of Human Experts [29.95198868148809]
本稿では,プロのファクトチェッカーがアウトレット全体の事実と政治的偏見を評価するために使用する基準をエミュレートする新しい手法を提案する。
メディアの人気と地域がモデル性能に与える影響を詳細に分析する。
論文 参考訳（メタデータ） (2025-06-14T15:49:20Z) - MLLMs are Deeply Affected by Modality Bias [158.64371871084478]
MLLM(Multimodal Large Language Models)の最近の進歩は、テキストや画像などの多様なモダリティを統合する上で、有望な成果を示している。
MLLMはモダリティバイアスに強く影響され、しばしば言語に依存し、視覚入力のような他のモダリティを過小評価する。
本稿では,MLLMはモダリティバイアスの影響を強く受けており,様々なタスクにまたがってその発現を明らかにする。
論文 参考訳（メタデータ） (2025-05-24T11:49:31Z) - Frame In, Frame Out: Do LLMs Generate More Biased News Headlines than Humans? [11.578398987157925]
メディアにおけるフレーミングは、他の人を軽視しながら、いくつかの詳細を選択的に強調することで、公共の認識を批判的に形作る。
自動ニュースやコンテンツ作成における大規模言語モデルの台頭により、これらのシステムが人間の著者と比較してフレーミングバイアスを導入または増幅するのではないかという懸念が高まっている。
我々の分析によると、特に政治的・社会的に敏感な文脈では、LLMは人間のものよりも顕著なフレーミングを示す傾向にある。
論文 参考訳（メタデータ） (2025-05-08T16:46:24Z) - Talking Point based Ideological Discourse Analysis in News Events [62.18747509565779]
本稿では,イデオロギー的談話分析理論をモチベーションとして,実世界の出来事に関するニュース記事を分析する枠組みを提案する。
我々のフレームワークは,話題のトピックとともに,エンティティ,役割,メディアフレーム間の相互作用を捉えた,会話ポイントという関係構造を用いたニュース記事を表現している。
我々は,人間の検証によって補足されたイデオロギーや分派的分類タスクを通じて,これらの視点を自動で生成するフレームワークの能力を評価する。
論文 参考訳（メタデータ） (2025-04-10T02:52:34Z) - ViLBias: Detecting and Reasoning about Bias in Multimodal Content [6.710013984078675]
ViLBiasは、マルチモーダルニュースにおけるバイアスの検出と推論のためのフレームワークである。
データセットは40,945のテキストペアで構成されている。
その結果,テキストによる画像の検出精度は3～5%向上した。
論文 参考訳（メタデータ） (2024-12-22T15:05:30Z) - Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。
MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
論文 参考訳（メタデータ） (2023-12-03T16:39:36Z) - Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles [136.84278943588652]
同一イベントを含む複数のニュース記事において遭遇する多様な情報を要約する新しい課題を提案する。
この作業を容易にするために、多様な情報を特定するためのデータ収集スキーマの概要と、DiverseSummというデータセットをキュレートした。
データセットには245のニュース記事が含まれており、各ストーリーは10のニュース記事からなり、人間公認の参照と組み合わせられる。
論文 参考訳（メタデータ） (2023-09-17T20:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。