論文の概要: ValiText -- a unified validation framework for computational text-based measures of social constructs
- arxiv url: http://arxiv.org/abs/2307.02863v6
- Date: Mon, 10 Jun 2024 12:51:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 05:29:05.306813
- Title: ValiText -- a unified validation framework for computational text-based measures of social constructs
- Title（参考訳）: ValiText - 社会構成の計算テキストに基づく測定のための統合検証フレームワーク
- Authors: Lukas Birkenmaier, Claudia Wagner, Clemens Lechner,
- Abstract要約: 本稿では,テキストデータ中の社会的構造を有効に測定する上で,研究者を支援するための新たな検証フレームワークであるValiTextを紹介する。
この枠組みは、社会科学における妥当性の概念的基礎の上に構築され、社会科学における検証実践の実証的なレビューによって強化されている。
最終的にValiTextは、研究者に3種類の検証証拠を処方する。
- 参考スコア（独自算出の注目度）: 0.8930269507906258
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Guidance on how to validate computational text-based measures of social constructs is fragmented. While researchers generally acknowledge the importance of validating text-based measures, they often lack a shared vocabulary and a unified framework to do so. This paper introduces ValiText, a new validation framework designed to assist scholars in validly measuring social constructs in textual data. The framework is built on a conceptual foundation of validity in the social sciences, strengthened by an empirical review of validation practices in the social sciences and consultations with experts. Ultimately, ValiText prescribes researchers to demonstrate three types of validation evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output) and external evidence (testing for how the measure relates to independent information). The framework is further supplemented by a checklist of validation steps, offering practical guidance in the form of documentation sheets that guide researchers in the validation process.
- Abstract（参考訳）: 社会構造に関する計算テキストに基づく尺度の検証方法に関するガイダンスが断片化されている。
研究者は一般的に、テキストベースの尺度を検証することの重要性を認めているが、共有語彙とそれを行うための統一された枠組みが欠如していることが多い。
本稿では,テキストデータ中の社会構造を有効に測定する上で,研究者を支援するための新たな検証フレームワークであるValiTextを紹介する。
この枠組みは、社会科学における妥当性の概念的基盤の上に構築され、社会科学における検証実践の実証的なレビューと専門家との相談によって強化されている。
結局のところ、ValiTextは研究者に、実体的証拠(測定の理論的基盤を概説する)、構造的証拠(テキストモデルの性質と出力を調べる)、外部的証拠(測定が独立情報にどのように関係しているかをテストする)の3つの種類の検証証拠を提示するよう要求している。
このフレームワークは、検証手順のチェックリストによってさらに補完され、検証プロセスの研究者をガイドするドキュメントシートの形で実践的なガイダンスを提供する。
関連論文リスト
- The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
トークン化は、NLPパイプラインにおける重要なステップである。
NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。
本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
論文 参考訳（メタデータ） (2024-07-16T11:12:28Z) - Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。
Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-07-14T01:43:07Z) - Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z) - ClaimVer: Explainable Claim-Level Verification and Evidence Attribution of Text Through Knowledge Graphs [13.608282497568108]
ClaimVerは、ユーザの情報と検証のニーズを満たすように設計された、人間中心のフレームワークである。
各クレームをハイライトし、信頼された知識グラフに対して検証し、クレームの予測に対して簡潔で明確な説明を提供する。
論文 参考訳（メタデータ） (2024-03-12T17:07:53Z) - Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。
本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
論文 参考訳（メタデータ） (2024-01-29T16:50:56Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts
using Multilayer Networks [10.556468838821338]
本研究の目的は,多層ネットワーク表現を用いた学術文献における談話の凝集度を計算学的に解析することである。
テキストにおける語彙的凝集度を評価するために,セクションレベルおよび文書レベルのメトリクスを設計する。
本稿では、著者に原稿の潜在的な改善のためのポインタを提供するための分析フレームワークCHIAA(CHeck It Again, Author)を提案する。
論文 参考訳（メタデータ） (2022-05-16T09:10:41Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (2022-04-22T16:39:38Z) - Evaluating the Construct Validity of Text Embeddings with Application to
Survey Questions [5.343406649012618]
テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。
このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。
埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
論文 参考訳（メタデータ） (2022-02-18T12:35:46Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Generating Fact Checking Summaries for Web Claims [8.980876474818153]
本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。
政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
論文 参考訳（メタデータ） (2020-10-16T18:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。