論文の概要: Computational frame analysis revisited: On LLMs for studying news coverage
- arxiv url: http://arxiv.org/abs/2511.17746v1
- Date: Fri, 21 Nov 2025 19:52:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.393292
- Title: Computational frame analysis revisited: On LLMs for studying news coverage
- Title（参考訳）: 計算フレーム分析の再考:ニュース報道研究のためのLLMについて
- Authors: Sharaj Kunjar, Alyssa Hasegawa Smith, Tyler R Mckenzie, Rushali Mohbe, Samuel V Scarpino, Brooke Foucault Welles,
- Abstract要約: GPTやClaudeといったジェネレーティブなLLMは、コンテンツ分析ツールとしてますます使われています。
我々はそれらを計算前のものと体系的に評価した。
我々は,方法論的多元的アプローチを支持し,今後の研究者のための計算フレーム分析のロードマップを作成した。
- 参考スコア（独自算出の注目度）: 1.4528491369411618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computational approaches have previously shown various promises and pitfalls when it comes to the reliable identification of media frames. Generative LLMs like GPT and Claude are increasingly being used as content analytical tools, but how effective are they for frame analysis? We address this question by systematically evaluating them against their computational predecessors: bag-of-words models and encoder-only transformers; and traditional manual coding procedures. Our analysis rests on a novel gold standard dataset that we inductively and iteratively developed through the study, investigating six months of news coverage of the US Mpox epidemic of 2022. While we discover some potential applications for generative LLMs, we demonstrate that they were consistently outperformed by manual coders, and in some instances, by smaller language models. Some form of human validation was always necessary to determine appropriate model choice. Additionally, by examining how the suitability of various approaches depended on the nature of different tasks that were part of our frame analytical workflow, we provide insights as to how researchers may leverage the complementarity of these approaches to use them in tandem. We conclude by endorsing a methodologically pluralistic approach and put forth a roadmap for computational frame analysis for researchers going forward.
- Abstract（参考訳）: 計算的アプローチは、メディアフレームの信頼性の確認に関して、これまで様々な約束と落とし穴を示してきた。
GPTやClaudeといったジェネレーティブなLLMは、コンテンツ分析ツールとしてますます使われていますが、フレーム分析にはどの程度有効でしょうか?
本稿では,従来の計算手法であるbaba-of-wordsモデルやエンコーダのみの変換器,手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業による手作業の処理について述べる。
我々の分析は、2022年の米Mpox流行の6ヶ月にわたる報道を調査し、本研究を通じて誘導的かつ反復的に発展させた、新しい金標準データセットに基づいている。
生成LDMの潜在的な応用はいくつか見いだされているが、手動コーダや、場合によってはより小さな言語モデルによって一貫して性能が向上していることが証明されている。
適切なモデル選択を決定するためには、常にある種の人間の検証が必要だった。
さらに、様々な手法の適合性が、我々のフレーム分析ワークフローの一部であった様々なタスクの性質にどのように依存しているかを調べることで、研究者がこれらの手法の相補性を活用してそれらをタンデムで利用する方法についての洞察を提供する。
我々は,方法論的多元的アプローチを支持し,今後の研究者のための計算フレーム分析のロードマップを作成した。
関連論文リスト
- Disagreement as Data: Reasoning Trace Analytics in Multi-Agent Systems [0.0]
本稿では,大規模言語モデル(LLM)エージェントが生成する推論トレースが,プロセスデータの新しいリッチな形式を構成することを提案する。
我々は、推論トレースにコサイン類似性を適用し、エージェント間の不一致を系統的に検出、定量化し、解釈する。
論文 参考訳（メタデータ） (2026-01-18T23:19:49Z) - Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization [1.246870021158888]
本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。
まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。
計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。
論文 参考訳（メタデータ） (2025-08-25T14:52:56Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - Advancing AI Research Assistants with Expert-Involved Learning [84.30323604785646]
大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、生物医学的な発見を促進することを約束するが、その信頼性は未定である。
ARIEL(AI Research Assistant for Expert-in-the-Loop Learning)は,オープンソースの評価・最適化フレームワークである。
LMMは詳細な視覚的推論に苦しむのに対し、最先端のモデルでは流動性はあるが不完全な要約を生成する。
論文 参考訳（メタデータ） (2025-05-03T14:21:48Z) - Flowco: Rethinking Data Analysis in the Age of LLMs [2.1874189959020427]
大規模言語モデル(LLM)は、単純なルーチン解析のためにそのようなコードを生成することができるようになった。
LLMは、限られたプログラミングの専門知識を持つ者がデータ分析を行うことで、データサイエンスの民主化を約束する。
多くの実世界のアナリストは、特定の分析手順をきめ細かな制御をしなければならない。
本稿では,これらの課題に対処する新たな混合開始システムであるFlowcoを紹介する。
論文 参考訳（メタデータ） (2025-04-18T19:01:27Z) - AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science [8.281093505963158]
大規模言語モデル(LLM)は、実行可能なコード生成を通じてデータ分析を自動化するために、ますます使われるようになっている。
本稿では,LLM生成データ分析の自動評価と改善のための分析・検査フレームワークであるAIReprについて述べる。
論文 参考訳（メタデータ） (2025-02-23T01:15:50Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
最小限の例を用いてコントラストフレームを検出する新しい手法である「ペア完備化」を導入する。
我々は、ペア化完了は、プロンプトベースおよび埋め込みベースの手法に代えて、コスト効率が高く、低バイアスであることを示した。
論文 参考訳（メタデータ） (2024-08-19T07:14:15Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳（メタデータ） (2023-08-07T18:50:57Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。