論文の概要: Toward Embedding-Based Psychometrics: Structural Modeling of Assessment-Item Semantics With Contextual Scores
- arxiv url: http://arxiv.org/abs/2609.31976v1
- Date: Fri, 25 Sep 2026 20:25:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 04:10:34.099645
- Title: Toward Embedding-Based Psychometrics: Structural Modeling of Assessment-Item Semantics With Contextual Scores
- Title（参考訳）: 埋め込み型心理指標に向けて:文脈スコアを用いた評価項目セマンティクスの構造モデリング
- Abstract要約: 文脈スコアは、外部コーパス内の参照語と類似性を通じて評価項目を表す。
本稿では,40のTIMSS数学単位のスコアのセマンティック構造を,部分的に指定された2段階の手順を用いて検討した。
- 参考スコア（独自算出の注目度）: 1.8194320623567561
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Contextual scores represent assessment items through their similarities to reference words in an external corpus. We examine the semantic structure of scores for 40 TIMSS mathematics scored units using a partially specified two-step factor procedure. A search across factor counts identifies a persistent seven-group structure under the featured construction. Subsequent comparisons consistently favor a general dimension alongside group associations, although individual group memberships remain sensitive to some specification choices. Item examples distinguish recurring, cross-domain, sensitive, and imposed associations. Simpler and unrestricted references clarify the contribution and limits of the anchored representation: it improves on a single factor but does not achieve the lowest working Bayesian information criterion (BIC). A separate response benchmark compares three initial Q constructions and their Hull-PVAF revisions under higher-order and saturated attribute distributions. Among these diagnostic models, BIC favors the official content framework and the Akaike information criterion (AIC) favors its direct four-factor augmentation, but a matched unidimensional two-parameter logistic model has lower AIC and BIC than all twelve conditions. These findings support a conditional semantic representation while limiting direct diagnostic interpretation. We discuss learned text-assisted response calibration as a prospective application requiring a larger calibrated item bank and independent evaluation.
- Abstract（参考訳）: 文脈スコアは、外部コーパス内の参照語と類似性を通じて評価項目を表す。
本稿では,40のTIMSS数学単位のスコアのセマンティック構造を,部分的に指定された2段階の手順を用いて検討した。
因子数による探索は、特徴的構成の下での永続的な7グループ構造を特定する。
その後の比較は、グループアソシエーションと並んで一般的な次元を常に好むが、個々のグループメンバーシップはいくつかの仕様選択に敏感である。
項目例では、繰り返し、クロスドメイン、敏感、強制的な関連を区別する。
より単純で制限のない参照は、アンカー化された表現の貢献と限界を明確にする: 単一の要因で改善するが、最低動作のベイズ情報基準(BIC)を達成しない。
異なる応答ベンチマークは、3つの初期Q構造とHul-PVAFリビジョンを高次および飽和特性分布で比較する。
これらの診断モデルの中で、BICは公式のコンテンツフレームワークを好んでおり、Akaike Information criterion(AIC)は直接4要素増強を好んでいるが、一致した一次元の2パラメータロジスティックモデルでは、AICとBICは12条件すべてよりも低い。
これらの知見は, 直接診断の解釈を制限しながら, 条件付き意味表現をサポートする。
我々は、より大きな校正項目バンクと独立した評価を必要とする予測アプリケーションとして、学習されたテキスト支援応答キャリブレーションについて議論する。
関連論文リスト
- Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences [51.56484100374058]
本稿では、構文依存関係をトピック推論に組み込んだアーキテクチャである、構造的文脈確率的トピックモデル(SCPTM)を紹介する。
本研究では,レジスタ構造と談話構造が異なる4つのコーパスのトピックモデリング手法について検討した。
その結果, SCPTMのニューラルアーキテクチャは, 生成的ベースラインよりも文書・トピックアライメントが著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2026-09-07T17:39:06Z) - A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments [2.2404539130909376]
本研究では,Large Language Models (LLMs) を用いた項目類似度自動解析のための2次元フレームワークを提案する。
LLMは構造的分解と意味的関連性を通して類似性を運用する。
心理学的検証は、LCM由来のメトリクスが構成非関連局所依存の指標とより密接に一致していることを示している。
論文 参考訳（メタデータ） (2026-08-25T17:07:16Z) - Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳（メタデータ） (2026-08-15T13:19:25Z) - Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts [47.02978329409663]
そこで本研究では,Q手法に基づく対称型人間-LLM評価フレームワークを提案する。
私たちのプロトコルでは、人間とモデルは同一の140項目の道徳的ステートメントを、共有された9カラムの強制分布に分類します。
240個の複製されたQ-sortを2つの温度設定で4つのモデルファミリーにまたがる12個のLLMを評価した。
論文 参考訳（メタデータ） (2026-06-20T08:15:41Z) - The Generalized Turing Test: A Foundation for Comparing Intelligence [0.8929189891250133]
識別不能性を通じて任意のエージェントの能力を比較するための公式なフレームワークを導入する。
エージェント A と B に対し、チューリングコンパレータ A$geq$B を定義して、B が微分器として作用し、A との相互作用と B の他のインスタンスとを確実に区別できないと仮定する。
これにより、データセットとタスクに依存しない相対知性の概念が得られる。
論文 参考訳（メタデータ） (2026-05-11T17:00:18Z) - Cluster-R1: Large Reasoning Models Are Instruction-following Clustering Agents [81.79110139097297]
汎用埋め込みモデルは意味的類似性を認識するのに優れているが、ユーザ命令で指定されたテキストの特徴を捉えることができない。
我々は、命令追従クラスタリングを生成タスクとして再編成し、大規模推論モデルを自律的なクラスタリングエージェントとして訓練する。
我々の推論駆動学習パイプラインは、LEMがハイレベルクラスタリング命令を解釈し、対応する潜在グループを推測することを可能にする。
論文 参考訳（メタデータ） (2026-03-06T10:15:54Z) - Discovering Semantic Latent Structures in Psychological Scales: A Response-Free Pathway to Efficient Simplification [7.405170407676887]
本稿では,スケール単純化のためのセマンティック潜在構造を運用するトピックモデリングフレームワークを提案する。
アイテムはコンテキスト文の埋め込みを使ってエンコードされ、密度ベースのクラスタリングによってグループ化される。
DASS,IPIP,EPOCHのフレームワークをベンチマークし,構造回復,内部整合性,因子の整合性,相関保存,還元効率を評価した。
論文 参考訳（メタデータ） (2026-02-13T03:37:15Z) - Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。
数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。
本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文 参考訳（メタデータ） (2026-01-07T14:59:03Z) - SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。
従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。
SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
論文 参考訳（メタデータ） (2025-09-16T16:06:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。