論文の概要: ValiTex -- a unified validation framework for computational text-based measures of social science constructs

• arxiv url: http://arxiv.org/abs/2307.02863v2
• Date: Mon, 10 Jul 2023 07:54:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 10:20:48.899024
• Title: ValiTex -- a unified validation framework for computational text-based measures of social science constructs
• Title（参考訳）: ValiTex -- 社会科学構成の計算テキストに基づく測定のための統合検証フレームワーク
• Authors: Lukas Birkenmaier and Clemens Lechner and Claudia Wagner
• Abstract要約: 本稿では,テキストデータに基づく社会科学構造の測定を支援するために,ValiTexという新たな検証フレームワークを提案する。 このフレームワークは、計算テキスト分析の目的のためにフレームワークを拡張しながら、心理測定において長年確立されてきた伝統に基づいている。
• 参考スコア（独自算出の注目度）: 0.30079490585515345
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Guidance on how to validate computational text-based measures of social science constructs is fragmented. Whereas scholars are generally acknowledging the importance of validating their text-based measures, they often lack common terminology and a unified framework to do so. This paper introduces a new validation framework called ValiTex, designed to assist scholars to measure social science constructs based on textual data. The framework draws on a long-established tradition within psychometrics while extending the framework for the purpose of computational text analysis. ValiTex consists of two components, a conceptual model, and a dynamic checklist. Whereas the conceptual model provides a general structure along distinct phases on how to approach validation, the dynamic checklist defines specific validation steps and provides guidance on which steps might be considered recommendable (i.e., providing relevant and necessary validation evidence) or optional (i.e., useful for providing additional supporting validation evidence. The utility of the framework is demonstrated by applying it to a use case of detecting sexism from social media data.
• Abstract（参考訳）: 社会科学構造に関する計算テキストに基づく尺度の検証方法に関するガイダンスが断片化されている。 研究者は一般的に、テキストベースの尺度を検証することの重要性を認めているが、それらはしばしば共通の用語や統一的な枠組みを欠いている。 本稿では,テキストデータに基づく社会科学構造の測定を支援するために,ValiTexという新たな検証フレームワークを提案する。 このフレームワークは、計算テキスト分析の目的のためにフレームワークを拡張しながら、心理測定において長年確立されてきた伝統に基づいている。 ValiTexは概念モデルと動的チェックリストという2つのコンポーネントで構成されている。 概念モデルがバリデーションへのアプローチ方法に関する異なるフェーズに沿って一般的な構造を提供するのに対して、動的チェックリストは特定の検証手順を定義し、推奨可能なステップ(つまり、関連する検証証拠と必要な検証証拠を提供する)またはオプション(つまり、追加の検証証拠を提供するのに役立ちます)についてガイダンスを提供する。 ソーシャルメディアデータから性差別を検出するユースケースに適用することにより、フレームワークの有用性を実証する。

関連論文リスト

• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
  共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。 本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。 我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
  論文  参考訳（メタデータ） (2024-05-31T21:19:09Z)
• ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
  ClaimVerは、ユーザの情報と検証のニーズを満たすように設計された、人間中心のフレームワークである。 各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
  論文  参考訳（メタデータ） (2024-03-12T17:07:53Z)
• Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
  本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。 本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T16:50:56Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts using Multilayer Networks [10.556468838821338]
  本研究の目的は,多層ネットワーク表現を用いた学術文献における談話の凝集度を計算学的に解析することである。 テキストにおける語彙的凝集度を評価するために,セクションレベルおよび文書レベルのメトリクスを設計する。 本稿では、著者に原稿の潜在的な改善のためのポインタを提供するための分析フレームワークCHIAA(CHeck It Again, Author)を提案する。
  論文  参考訳（メタデータ） (2022-05-16T09:10:41Z)
• Revise and Resubmit: An Intertextual Model of Text-based Collaboration in Peer Review [52.359007622096684]
  ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。 既存のNLP研究は個々のテキストの分析に重点を置いている。 編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
  論文  参考訳（メタデータ） (2022-04-22T16:39:38Z)
• Evaluating the Construct Validity of Text Embeddings with Application to Survey Questions [5.343406649012618]
  テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。 このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。 埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:35:46Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Generating Fact Checking Summaries for Web Claims [8.980876474818153]
  本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。 政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2020-10-16T18:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。