論文の概要: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- arxiv url: http://arxiv.org/abs/2307.02863v2
- Date: Mon, 10 Jul 2023 07:54:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 10:20:48.899024
- Title: ValiTex -- a unified validation framework for computational text-based
measures of social science constructs
- Title(参考訳): ValiTex -- 社会科学構成の計算テキストに基づく測定のための統合検証フレームワーク
- Authors: Lukas Birkenmaier and Clemens Lechner and Claudia Wagner
- Abstract要約: 本稿では,テキストデータに基づく社会科学構造の測定を支援するために,ValiTexという新たな検証フレームワークを提案する。
このフレームワークは、計算テキスト分析の目的のためにフレームワークを拡張しながら、心理測定において長年確立されてきた伝統に基づいている。
- 参考スコア(独自算出の注目度): 0.30079490585515345
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Guidance on how to validate computational text-based measures of social
science constructs is fragmented. Whereas scholars are generally acknowledging
the importance of validating their text-based measures, they often lack common
terminology and a unified framework to do so. This paper introduces a new
validation framework called ValiTex, designed to assist scholars to measure
social science constructs based on textual data. The framework draws on a
long-established tradition within psychometrics while extending the framework
for the purpose of computational text analysis. ValiTex consists of two
components, a conceptual model, and a dynamic checklist. Whereas the conceptual
model provides a general structure along distinct phases on how to approach
validation, the dynamic checklist defines specific validation steps and
provides guidance on which steps might be considered recommendable (i.e.,
providing relevant and necessary validation evidence) or optional (i.e., useful
for providing additional supporting validation evidence. The utility of the
framework is demonstrated by applying it to a use case of detecting sexism from
social media data.
- Abstract(参考訳): 社会科学構造に関する計算テキストに基づく尺度の検証方法に関するガイダンスが断片化されている。
研究者は一般的に、テキストベースの尺度を検証することの重要性を認めているが、それらはしばしば共通の用語や統一的な枠組みを欠いている。
本稿では,テキストデータに基づく社会科学構造の測定を支援するために,ValiTexという新たな検証フレームワークを提案する。
このフレームワークは、計算テキスト分析の目的のためにフレームワークを拡張しながら、心理測定において長年確立されてきた伝統に基づいている。
ValiTexは概念モデルと動的チェックリストという2つのコンポーネントで構成されている。
概念モデルがバリデーションへのアプローチ方法に関する異なるフェーズに沿って一般的な構造を提供するのに対して、動的チェックリストは特定の検証手順を定義し、推奨可能なステップ(つまり、関連する検証証拠と必要な検証証拠を提供する)またはオプション(つまり、追加の検証証拠を提供するのに役立ちます)についてガイダンスを提供する。
ソーシャルメディアデータから性差別を検出するユースケースに適用することにより、フレームワークの有用性を実証する。
関連論文リスト
- ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
$textitClaimVerは、ユーザの情報や検証のニーズを満たすための、人間中心のフレームワークである。
各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
論文 参考訳(メタデータ) (2024-03-12T17:07:53Z) - AFaCTA: Assisting the Annotation of Factual Claim Detection with
Reliable LLM Annotators [40.81978676612458]
AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
論文 参考訳(メタデータ) (2024-02-16T20:59:57Z) - Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。
本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
論文 参考訳(メタデータ) (2024-01-29T16:50:56Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳(メタデータ) (2023-11-14T08:51:00Z) - Trustworthy Formal Natural Language Specifications [3.8073142980733]
本稿では、自然言語の表現的サブセットで書かれた仕様を構築できることを示す。
モジュール的に形式化された英語のサブセットで仕様を提供する手段を実装し、それらを形式的なクレームに自動的に変換する。
我々は,各単語の解釈方法と文の構造を用いて意味を計算したことを示す証明証明書を作成した。
論文 参考訳(メタデータ) (2023-10-05T20:41:47Z) - Zero-shot Faithful Factual Error Correction [53.121642212060536]
事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。
提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
論文 参考訳(メタデータ) (2023-05-13T18:55:20Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳(メタデータ) (2022-12-15T15:52:39Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Evaluating the Construct Validity of Text Embeddings with Application to
Survey Questions [5.343406649012618]
テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。
このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。
埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
論文 参考訳(メタデータ) (2022-02-18T12:35:46Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳(メタデータ) (2020-10-24T08:30:20Z) - Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
テキストのディープフェイク検出のためのグラフベースモデルを提案する。
我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。
本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
論文 参考訳(メタデータ) (2020-10-15T02:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。