論文の概要: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- arxiv url: http://arxiv.org/abs/2307.02863v3
- Date: Fri, 8 Sep 2023 13:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 17:43:44.860614
- Title: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- Title（参考訳）: ValiTex -- 社会科学構成の計算テキストに基づく測定のための統合検証フレームワーク
- Authors: Lukas Birkenmaier and Claudia Wagner and Clemens Lechner
- Abstract要約: ValiTexは、学者がテキストデータに基づいて社会科学の構造を効果的に測定するのを支援するために設計された新しい検証フレームワークである。
この概念は、心理学において長い間確立されてきた妥当性の概念に基づいているが、計算テキスト分析の特定のニーズをカバーするために、これらの概念を拡張している。
ソーシャルメディアデータから性差別を検出するユースケースに適用することで,このフレームワークの有用性を実証する。
- 参考スコア（独自算出の注目度）: 1.0036727981085223
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Guidance on how to validate computational text-based measures of social
science constructs is fragmented. Although scholars generally acknowledge the
importance of validating their text-based measures, they often lack common
terminology and a unified framework to do so. This paper introduces ValiTex, a
new validation framework designed to assist scholars in validly measuring
social science constructs based on textual data. The framework draws on a
long-established validity concept in psychometrics but extends these concepts
to cover the specific needs of computational text analysis. ValiTex consists of
two components, a conceptual framework and a dynamic checklist. Whereas the
conceptual framework provides a general structure along distinct phases on how
to approach validation, the dynamic checklist defines specific validation steps
and provides guidance on which steps might be considered recommendable (i.e.,
providing relevant and necessary validation evidence) or optional (i.e., useful
for providing additional supporting validation evidence). We demonstrate the
utility of the framework by applying it to a use case of detecting sexism from
social media data
- Abstract（参考訳）: 社会科学構造に関する計算テキストに基づく尺度の検証方法に関するガイダンスが断片化されている。
学者は一般的にテキストベースの尺度を検証することの重要性を認めているが、一般的な用語や統一的な枠組みを欠いていることが多い。
本稿では,テキストデータに基づく社会科学構築物の有効測定を支援する新しい検証フレームワークであるValiTexを紹介する。
このフレームワークは、サイコメトリックスにおいて長い間確立されてきた妥当性の概念に基づいているが、これらの概念を拡張して、計算テキスト分析の特定のニーズをカバーする。
ValiTexは概念フレームワークと動的チェックリストの2つのコンポーネントで構成されている。
概念的なフレームワークは、バリデーションのアプローチ方法に関する異なるフェーズに沿って一般的な構造を提供するが、動的チェックリストは、特定の検証手順を定義し、推奨可能なステップ(つまり、関連する検証証拠と必要な検証証拠を提供する)またはオプション(つまり、追加の検証証拠を提供するのに役に立つ)を提供する。
ソーシャルメディアデータから性差別を検知するユースケースに適用して,このフレームワークの有用性を実証する。
関連論文リスト
- The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。
NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。
本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文 参考訳（メタデータ） (2024-07-16T11:12:28Z) - Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。
Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-07-14T01:43:07Z) - Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z) - ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
ClaimVerは、ユーザの情報と検証のニーズを満たすように設計された、人間中心のフレームワークである。
各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
論文 参考訳（メタデータ） (2024-03-12T17:07:53Z) - Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。
本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
論文 参考訳（メタデータ） (2024-01-29T16:50:56Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts
using Multilayer Networks [10.556468838821338]
本研究の目的は,多層ネットワーク表現を用いた学術文献における談話の凝集度を計算学的に解析することである。
テキストにおける語彙的凝集度を評価するために,セクションレベルおよび文書レベルのメトリクスを設計する。
本稿では、著者に原稿の潜在的な改善のためのポインタを提供するための分析フレームワークCHIAA(CHeck It Again, Author)を提案する。
論文 参考訳（メタデータ） (2022-05-16T09:10:41Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (2022-04-22T16:39:38Z) - Evaluating the Construct Validity of Text Embeddings with Application to
Survey Questions [5.343406649012618]
テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。
このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。
埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
論文 参考訳（メタデータ） (2022-02-18T12:35:46Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Generating Fact Checking Summaries for Web Claims [8.980876474818153]
本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。
政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-10-16T18:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。