論文の概要: Are Information Retrieval Approaches Good at Harmonising Longitudinal Survey Questions in Social Science?

• arxiv url: http://arxiv.org/abs/2504.20679v1
• Date: Tue, 29 Apr 2025 12:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.880762
• Title: Are Information Retrieval Approaches Good at Harmonising Longitudinal Survey Questions in Social Science?
• Title（参考訳）: 情報検索アプローチは社会科学における縦断調査の調和に有効か?
• Authors: Wing Yan Li, Zeqiang Wang, Jon Johnson, Suparna De,
• Abstract要約: 本稿では,質問と回答の選択肢にまたがる概念等価性を識別する新しい情報検索タスクを提案する。 本稿では1946-2020年の調査データセットにおける教師なしアプローチについて検討する。 我々は、IR特化ニューラルモデルが、他のアプローチと相容れない性能で最高の総合的な性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 2.769064123193329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated detection of semantically equivalent questions in longitudinal social science surveys is crucial for long-term studies informing empirical research in the social, economic, and health sciences. Retrieving equivalent questions faces dual challenges: inconsistent representation of theoretical constructs (i.e. concept/sub-concept) across studies as well as between question and response options, and the evolution of vocabulary and structure in longitudinal text. To address these challenges, our multi-disciplinary collaboration of computer scientists and survey specialists presents a new information retrieval (IR) task of identifying concept (e.g. Housing, Job, etc.) equivalence across question and response options to harmonise longitudinal population studies. This paper investigates multiple unsupervised approaches on a survey dataset spanning 1946-2020, including probabilistic models, linear probing of language models, and pre-trained neural networks specialised for IR. We show that IR-specialised neural models achieve the highest overall performance with other approaches performing comparably. Additionally, the re-ranking of the probabilistic model's results with neural models only introduces modest improvements of 0.07 at most in F1-score. Qualitative post-hoc evaluation by survey specialists shows that models generally have a low sensitivity to questions with high lexical overlap, particularly in cases where sub-concepts are mismatched. Altogether, our analysis serves to further research on harmonising longitudinal studies in social science.
• Abstract（参考訳）: 縦断的社会科学調査における意味論的に等価な質問の自動検出は、社会、経済、健康科学の実証的研究を行う長期的な研究にとって重要である。 同等の質問を検索することは二重の課題に直面する: 研究全体にわたる理論的構成(概念/サブ概念)の矛盾した表現、および質問と応答の選択肢、そして長手テキストにおける語彙と構造の進化である。 これらの課題に対処するため, コンピュータ科学者と調査専門家の多分野共同研究により, 縦断人口調査を調和させるために, 質問や回答の選択肢にまたがる概念(住宅, 雇用など)の等価性を識別する新たな情報検索(IR)タスクが提示された。 本稿では、1946-2020年の調査データセットに対する複数の教師なしアプローチについて検討し、確率モデル、言語モデルの線形探索、IRに特化した事前学習ニューラルネットワークについて述べる。 我々は、IR特化ニューラルモデルが、他のアプローチと相容れない性能で最高の総合的な性能を達成することを示す。 さらに、確率モデルの結果をニューラルモデルで再ランク付けすることは、F1スコアにおいて最大で0.07の控えめな改善しか導入しない。 調査専門家による定性的なポストホック評価は、特にサブコンセプトがミスマッチしている場合において、モデルが語彙重複の高い質問に対して一般的に低感度であることを示している。 我々の分析は、社会科学における縦断的研究の調和に関するさらなる研究に役立ちます。

関連論文リスト

• Random Forest-of-Thoughts: Uncertainty-aware Reasoning for Computational Social Science [9.870701840926923]
  思考のランダムフォレスト (RFoT) と呼ばれる新しい言語モデルプロセッシング手法を提案する。 RFoTは、多様な思考空間を生成し、思考の森を構築するためのサブ思想をランダムに選択することで、LLMが意図的な意思決定を行うことを可能にする。 実験の結果,RFoTは,非自明な推論を必要とする2つの新しい社会調査分析問題において,言語モデルの能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-02-26T00:52:44Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Quriosity: Analyzing Human Questioning Behavior and Causal Inquiry through Curiosity-Driven Queries [91.70689724416698]
  本稿では,3つの情報源から自然発生の13.5Kの質問を集めたQuriosityを紹介する。 分析の結果,データセットに因果的疑問(最大42%)が存在することが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• A Survey on Interpretable Cross-modal Reasoning [64.37362731950843]
  マルチメディア分析から医療診断に至るまで、クロスモーダル推論(CMR)が重要な分野として浮上している。 この調査は、解釈可能なクロスモーダル推論(I-CMR)の領域を掘り下げる 本調査では,I-CMRの3段階分類法について概説する。
  論文  参考訳（メタデータ） (2023-09-05T05:06:48Z)
• Around the GLOBE: Numerical Aggregation Question-Answering on Heterogeneous Genealogical Knowledge Graphs with Deep Neural Networks [0.934612743192798]
  本稿では,系統樹の数値集約QAのための新しいエンドツーエンド手法を提案する。 提案されたアーキテクチャであるGLOBEは、このタスクの精度を87%向上させることで、最先端のモデルとパイプラインを上回っている。 本研究は系譜情報センターや博物館に実際的な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2023-07-30T12:09:00Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)
• Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey [71.43956423427397]
  本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。 この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。 もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
  論文  参考訳（メタデータ） (2022-07-20T13:37:57Z)
• Penalized Estimation and Forecasting of Multiple Subject Intensive Longitudinal Data [7.780531445879182]
  本稿では,様々な話題の課題に対処する新しいモデリングフレームワークを提案する。 個々の時系列の長さと収集した変数数が大まかに等価である場合、どのようにILDをモデル化し、予測することができるか? 第二に、多くのILDシナリオに固有の横断的情報(対人的情報)をいかに活用するか、そして、認定された個人は量的にも質的にも、どのように異なるか。
  論文  参考訳（メタデータ） (2020-07-09T20:34:23Z)
• Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond [35.32894170512829]
  本研究では,過去10年間のランダムな特徴に関する研究を体系的にレビューする。 まず、代表的ランダム特徴量に基づくアルゴリズムのモチベーション、特徴、貢献について要約する。 第2に, 高い近似品質を確保するために, ランダムな特徴がいくつ必要かという, 以下の重要な問題を中心にした理論的結果について検討する。 第三に、いくつかの大規模ベンチマークデータセットに基づいて、一般的な乱数特徴に基づくアルゴリズムの包括的な評価を行う。
  論文  参考訳（メタデータ） (2020-04-23T13:44:48Z)
• Uncovering the Data-Related Limits of Human Reasoning Research: An Analysis based on Recommender Systems [1.7478203318226309]
  認知科学は、理論駆動の観点から人間のような知性をモデル化する目的を追求している。 ソロジック推論は人間の推論研究のコアドメインの1つである。 最近のモデルの性能予測の結果、改善の停滞が明らかになった。
  論文  参考訳（メタデータ） (2020-03-11T10:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。