論文の概要: Capturing Topic Framing via Masked Language Modeling
- arxiv url: http://arxiv.org/abs/2302.03183v1
- Date: Tue, 7 Feb 2023 01:23:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 17:55:56.023815
- Title: Capturing Topic Framing via Masked Language Modeling
- Title（参考訳）: マスキング言語モデリングによるトピックフレーミングのキャプチャ
- Authors: Xiaobo Guo, Weicheng Ma, and Soroush Vosoughi
- Abstract要約: マスク付きトークン予測により,問題の差分フレーミングをモデル化する枠組みを提案する。
筆者らのフレームワークは,信頼性の高い5つの多様かつ政治的に分極されたトピックの差分フレーミングを捉えることができることを示す。
- 参考スコア（独自算出の注目度）: 13.80231868286184
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Differential framing of issues can lead to divergent world views on important
issues. This is especially true in domains where the information presented can
reach a large audience, such as traditional and social media. Scalable and
reliable measurement of such differential framing is an important first step in
addressing them. In this work, based on the intuition that framing affects the
tone and word choices in written language, we propose a framework for modeling
the differential framing of issues through masked token prediction via
large-scale fine-tuned language models (LMs). Specifically, we explore three
key factors for our framework: 1) prompt generation methods for the masked
token prediction; 2) methods for normalizing the output of fine-tuned LMs; 3)
robustness to the choice of pre-trained LMs used for fine-tuning. Through
experiments on a dataset of articles from traditional media outlets covering
five diverse and politically polarized topics, we show that our framework can
capture differential framing of these topics with high reliability.
- Abstract（参考訳）: 問題の微分フレーミングは、重要な問題に対する世界観の多様化につながる可能性がある。
これは、提示された情報が伝統的なソーシャルメディアなど、大勢の聴衆に届く領域において特に当てはまる。
このような微分フレーミングのスケーラブルで信頼性の高い測定は、それらに取り組むための重要な第一歩である。
本稿では,文字言語のトーンと単語選択にフラーミングが影響を及ぼすという直観に基づいて,lms (large-scale fine-tuned language model) によるマスキングトークン予測を通じて問題の微分フレーミングをモデル化する枠組みを提案する。
具体的には、フレームワークの3つの重要な要素について調べる。
1) マスク付きトークン予測の迅速な生成方法
2) 微調整されたlmsの出力を正規化する方法
3) 微調整に用いる事前学習したlmsの選択に対するロバスト性。
5つの多様で政治的に偏極化したトピックを包含する従来のメディアメディアの記事のデータセットの実験を通じて、我々のフレームワークは高い信頼性でこれらのトピックの異なるフレーミングを捉えることができることを示す。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。
重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。
我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
論文 参考訳（メタデータ） (2024-06-11T06:53:19Z) - Word Importance Explains How Prompts Affect Language Model Outputs [0.7223681457195862]
本研究では,個々の単語をインプロンプトで変化させることにより,大規模言語モデルの説明可能性を向上させる手法を提案する。
古典的注目とは違って、単語の重要度は、任意に定義されたテキストスコアに対する急進的な単語の影響を測定する。
その結果,単語の重要度スコアは,複数のスコア機能において期待される接尾辞の重要度と密接に関連していることがわかった。
論文 参考訳（メタデータ） (2024-03-05T15:04:18Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳（メタデータ） (2023-06-06T11:37:46Z) - POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained
models [62.23255433487586]
モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。
本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
論文 参考訳（メタデータ） (2023-04-29T22:05:22Z) - Analyzing Vietnamese Legal Questions Using Deep Neural Networks with
Biaffine Classifiers [3.116035935327534]
我々は深層ニューラルネットワークを用いてベトナムの法的問題から重要な情報を抽出することを提案する。
自然言語で法的疑問が与えられた場合、その疑問に答えるために必要な情報を含む全てのセグメントを抽出することが目的である。
論文 参考訳（メタデータ） (2023-04-27T18:19:24Z) - Multimodal Masked Autoencoders Learn Transferable Representations [127.35955819874063]
単純でスケーラブルなネットワークアーキテクチャであるM3AE(Multimodal Masked Autoencoder)を提案する。
M3AEは、マスク付きトークン予測により、視覚と言語データの両方の統一エンコーダを学習する。
我々は,大規模な画像テキストデータセット上で訓練されたM3AEについて実証的研究を行い,M3AEが下流タスクによく伝達される一般化可能な表現を学習できることを見出した。
論文 参考訳（メタデータ） (2022-05-27T19:09:42Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z) - Multimodal Pretraining Unmasked: A Meta-Analysis and a Unified Framework
of Vision-and-Language BERTs [57.74359320513427]
ビジョンと言語BERTを事前訓練して、これらの2つの重要なAI領域の交差点での課題に取り組む方法が提案されている。
これら2つのカテゴリの違いについて検討し、単一の理論的枠組みの下でそれらをどのように統合できるかを示す。
5つのV&L BERT間の経験的差異を明らかにするための制御実験を行った。
論文 参考訳（メタデータ） (2020-11-30T18:55:24Z) - Auto-Encoding Variational Bayes for Inferring Topics and Visualization [2.132096006921048]
ビジュアライゼーションとトピックモデリングは、テキスト分析のアプローチとして広く使われている。
近年のアプローチでは、生成モデルを用いてトピックと可視化を共同で発見する手法が提案されている。
提案手法は,自動変分ベイズをベースとした自動変分ベイズ推定手法で,トピックと可視化を共同で推定する手法である。
論文 参考訳（メタデータ） (2020-10-19T05:57:11Z) - Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。
また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。
実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
論文 参考訳（メタデータ） (2020-08-11T03:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。