論文の概要: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- arxiv url: http://arxiv.org/abs/2307.02863v3
- Date: Fri, 8 Sep 2023 13:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 17:43:44.860614
- Title: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- Title(参考訳): ValiTex -- 社会科学構成の計算テキストに基づく測定のための統合検証フレームワーク
- Authors: Lukas Birkenmaier and Claudia Wagner and Clemens Lechner
- Abstract要約: ValiTexは、学者がテキストデータに基づいて社会科学の構造を効果的に測定するのを支援するために設計された新しい検証フレームワークである。
この概念は、心理学において長い間確立されてきた妥当性の概念に基づいているが、計算テキスト分析の特定のニーズをカバーするために、これらの概念を拡張している。
ソーシャルメディアデータから性差別を検出するユースケースに適用することで,このフレームワークの有用性を実証する。
- 参考スコア(独自算出の注目度): 1.0036727981085223
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Guidance on how to validate computational text-based measures of social
science constructs is fragmented. Although scholars generally acknowledge the
importance of validating their text-based measures, they often lack common
terminology and a unified framework to do so. This paper introduces ValiTex, a
new validation framework designed to assist scholars in validly measuring
social science constructs based on textual data. The framework draws on a
long-established validity concept in psychometrics but extends these concepts
to cover the specific needs of computational text analysis. ValiTex consists of
two components, a conceptual framework and a dynamic checklist. Whereas the
conceptual framework provides a general structure along distinct phases on how
to approach validation, the dynamic checklist defines specific validation steps
and provides guidance on which steps might be considered recommendable (i.e.,
providing relevant and necessary validation evidence) or optional (i.e., useful
for providing additional supporting validation evidence). We demonstrate the
utility of the framework by applying it to a use case of detecting sexism from
social media data
- Abstract(参考訳): 社会科学構造に関する計算テキストに基づく尺度の検証方法に関するガイダンスが断片化されている。
学者は一般的にテキストベースの尺度を検証することの重要性を認めているが、一般的な用語や統一的な枠組みを欠いていることが多い。
本稿では,テキストデータに基づく社会科学構築物の有効測定を支援する新しい検証フレームワークであるValiTexを紹介する。
このフレームワークは、サイコメトリックスにおいて長い間確立されてきた妥当性の概念に基づいているが、これらの概念を拡張して、計算テキスト分析の特定のニーズをカバーする。
ValiTexは概念フレームワークと動的チェックリストの2つのコンポーネントで構成されている。
概念的なフレームワークは、バリデーションのアプローチ方法に関する異なるフェーズに沿って一般的な構造を提供するが、動的チェックリストは、特定の検証手順を定義し、推奨可能なステップ(つまり、関連する検証証拠と必要な検証証拠を提供する)またはオプション(つまり、追加の検証証拠を提供するのに役に立つ)を提供する。
ソーシャルメディアデータから性差別を検知するユースケースに適用して,このフレームワークの有用性を実証する。
関連論文リスト
- ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
$textitClaimVerは、ユーザの情報や検証のニーズを満たすための、人間中心のフレームワークである。
各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
論文 参考訳(メタデータ) (2024-03-12T17:07:53Z) - AFaCTA: Assisting the Annotation of Factual Claim Detection with
Reliable LLM Annotators [40.81978676612458]
AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
論文 参考訳(メタデータ) (2024-02-16T20:59:57Z) - Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。
本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
論文 参考訳(メタデータ) (2024-01-29T16:50:56Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Trustworthy Formal Natural Language Specifications [3.8073142980733]
本稿では、自然言語の表現的サブセットで書かれた仕様を構築できることを示す。
モジュール的に形式化された英語のサブセットで仕様を提供する手段を実装し、それらを形式的なクレームに自動的に変換する。
我々は,各単語の解釈方法と文の構造を用いて意味を計算したことを示す証明証明書を作成した。
論文 参考訳(メタデータ) (2023-10-05T20:41:47Z) - Zero-shot Faithful Factual Error Correction [53.121642212060536]
事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。
提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
論文 参考訳(メタデータ) (2023-05-13T18:55:20Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳(メタデータ) (2022-12-15T15:52:39Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Evaluating the Construct Validity of Text Embeddings with Application to
Survey Questions [5.343406649012618]
テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。
このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。
埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
論文 参考訳(メタデータ) (2022-02-18T12:35:46Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳(メタデータ) (2020-10-24T08:30:20Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳(メタデータ) (2020-10-15T02:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。