論文の概要: Is the Platform Part of the Measurement? A Protocol and Simulation Study for Cross-Platform Equivalence of Machine-Labelled Policy Sentiment
- arxiv url: http://arxiv.org/abs/2610.16757v1
- Date: Mon, 12 Oct 2026 13:22:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:38:23.631228
- Title: Is the Platform Part of the Measurement? A Protocol and Simulation Study for Cross-Platform Equivalence of Machine-Labelled Policy Sentiment
- Title（参考訳）: 測定のプラットフォーム部分か? : マシンラベル政策センチメントのクロスプラットフォーム等価性に関するプロトコルとシミュレーション研究
- Abstract要約: 我々は、心理量同値ツールキットを、機械による政策感情に適応させる。
我々は,事前に固定されたアンカーイベントとアンカー密度監査,および2クラス収束制御を備えた6ステップのプロトコルを規定する。
最初の著者のMSc論文からの楽器のケーススタディは、その設計を動機付けている。
- 参考スコア（独自算出の注目度）: 0.9668407688201359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Comparing machine-labelled sentiment across social media platforms is now routine: differences in classifier scores between platforms are read as differences in public opinion. These comparisons rest on an assumption that the classifier measures the same construct, on the same scale, on every platform. Some studies check a classifier's validity platform by platform, but to our knowledge none has modelled the platform as a facet of the classifier's measurement. We adapt the psychometric equivalence toolkit (generalizability theory, measurement invariance and differential item functioning, and score linking) to machine-labelled policy sentiment, treating the platform as a survey mode, and specify a six-step protocol with anchor events fixed in advance, an anchor-density audit, and a two-classifier convergence control. A simulation with known ground truth illustrates what the assumption can cost in one generating configuration fixed in advance: across 500 replications, because the platforms measure through different functions, a pooled index that takes platform scores at face value reports the wrong sign of aggregate sentiment on nearly a quarter of days, whereas an index adjusted with each platform's known measurement function does so on under one day in sixty on average. A case study of the instrument from the first author's MSc dissertation, a fine-tuned BERT classifier over 255,446 UK economic-policy comments from Twitter/X, Reddit, YouTube, and Quora, motivates the design and illustrates the instrument-dependence the protocol addresses. The full four-platform application, under fresh collection with the pre-specified design, is the designated follow-up study. The protocol lets a researcher test whether pooling platforms is defensible in a given corpus, or whether platform scores must be linked before any average is taken.
- Abstract（参考訳）: ソーシャルメディアプラットフォーム間でのマシンラベリングされた感情を比較することは日常的であり、プラットフォーム間の分類器のスコアの違いは世論の違いとして読まれる。
これらの比較は、分類器がすべてのプラットフォーム上で同じスケールで同じ構成を測定するという仮定に基づいている。
いくつかの研究では、分類器の妥当性プラットフォームをプラットフォームによって検証するが、我々の知る限り、分類器の測定のファセットとしてプラットフォームをモデル化した者はいない。
本研究では, 心理量同値ツールキット(一般化可能性理論, 測定不変性, 差分関数, スコアリンク)を機械遅延型政策感情に適用し, プラットフォームをサーベイモードとして扱い, アンカーイベントを予め固定した6段階プロトコル, アンカー密度監査, 2段階収束制御を規定する。
プラットフォームが異なる関数を計測するため、プラットフォームが異なる関数を計測するため、プラットフォームスコアを顔の値に取るプールされたインデックスは、約4分の1の日に集約された感情の間違った兆候を報告します。
最初の著者のMSc論文から得られたこの楽器のケーススタディは、Twitter/X、Reddit、YouTube、Quoraの255,446件の英国経済政策コメントに微調整されたBERT分類器で、その設計を動機付け、プロトコルアドレスの楽器依存性を描写している。
完全な4プラットフォームアプリケーションは、事前指定された設計の新たなコレクションの下で、指定されたフォローアップ研究である。
このプロトコルにより、研究者は、プーリングプラットフォームが与えられたコーパスで保護可能であるか、あるいは平均値を取る前にプラットフォームスコアをリンクする必要があるかをテストできる。
関連論文リスト
- BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。
BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
論文 参考訳（メタデータ） (2026-08-27T09:30:08Z) - Quantifying Political Partisanship for Cross-Platform Analyses [0.8594140167290097]
ソーシャルメディア投稿における政治的党派行動を測定するためのテキストベースのプラットフォーム対応手法を提案する。
埋め込み空間には、反対ラベル付きクラスタのセントロイド間の差としてパルチザン軸が形成される。
2024年アメリカ合衆国大統領選挙の6ヶ月前、ブルースキーと真実社会から集められた約130万のポストのコーパスにこの方法を適用する。
論文 参考訳（メタデータ） (2026-07-23T22:12:17Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳（メタデータ） (2024-03-01T15:14:47Z) - Causality Guided Disentanglement for Cross-Platform Hate Speech
Detection [15.489092194564149]
ソーシャルメディアプラットフォームはオープンな言論を促進する価値があるにもかかわらず、しばしば有害なコンテンツを広めるために利用される。
本研究では,あるプラットフォームのデータに基づいて学習し,複数のプラットフォームに一般化可能な,クロスプラットフォームのヘイトスピーチ検出モデルを提案する。
4つのプラットフォームにわたる実験は、一般化されたヘイトスピーチを検出する既存の最先端手法と比較して、モデルの有効性が向上していることを強調した。
論文 参考訳（メタデータ） (2023-08-03T23:39:03Z) - Subjective Crowd Disagreements for Subjective Data: Uncovering
Meaningful CrowdOpinion with Population-level Learning [8.530934084017966]
emphCrowdOpinionは、言語特徴とラベル分布を用いて、類似した項目をラベル分布のより大きなサンプルにまとめる教師なし学習手法である。
ソーシャルメディアから利用可能な5つのベンチマークデータセット(アノテータの不一致のレベルが異なる)を使用します。
また、Facebookのデータセットを使って、投稿に反応するユーザーによって、プラットフォーム自体からアノテーションが送られてくるような実験も行っています。
論文 参考訳（メタデータ） (2023-07-07T22:09:46Z) - Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity
Classification [21.842139093124512]
本稿では,新しいベクトルベース手法であるSEEDを導入する。
クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。
FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2022-05-11T17:23:37Z) - Evaluating Large-Vocabulary Object Detectors: The Devil is in the
Details [107.2722027807328]
我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。
既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。
我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
論文 参考訳（メタデータ） (2021-02-01T18:56:02Z) - Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。
このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。
提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
論文 参考訳（メタデータ） (2020-09-29T17:58:04Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - The Paradigm Discovery Problem [121.79963594279893]
我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。
5つの多言語に対する経験的結果について報告する。
私たちのコードとデータは公開されています。
論文 参考訳（メタデータ） (2020-05-04T16:38:54Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。