論文の概要: When Can Text Embeddings Replace Item Calibration? A Geometric Diagnostic for Semantic Loadings in Multidimensional Adaptive Testing

• arxiv url: http://arxiv.org/abs/2608.09058v1
• Date: Mon, 10 Aug 2026 03:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.061225
• Title: When Can Text Embeddings Replace Item Calibration? A Geometric Diagnostic for Semantic Loadings in Multidimensional Adaptive Testing
• Title（参考訳）: テキスト埋め込みはアイテムキャリブレーションを置き換えることができるか? 多次元適応テストにおける意味的負荷の幾何学的計測
• Abstract要約: 多次元アイテム応答理論は、識別やカテゴリしきい値などの校正項目パラメータに依存している。 本研究は,事前学習文の埋め込みを用いて,項目テキストから直接これらのパラメータの方向負荷を回収できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multidimensional item response theory relies on calibrated item parameters, such as discrimination and category threshold values, which are usually estimated from large samples of human test responses. This study investigates whether the directional loadings of these parameters can be recovered directly from item text using pre-trained sentence embeddings, avoiding the need for initial item calibration. Using the open-source IPIP Big-Five dataset ($n=19{,}719$; 50 items), we built a multidimensional computerized adaptive testing (CAT) simulation using D-optimal item selection. We compared three item loading sources: fitted graded response model parameters, semantic text embeddings, and a lexical baseline. In simulation, semantic embeddings recovered latent trait profiles almost as accurately as fitted parameters (correlation $0.825$ vs. $0.857$), performing noticeably better than simple word overlap ($0.752$). However, the embedding-based model produced inflated posterior variance, showing nearly four times higher measurement uncertainty despite accurate point estimates. We attribute this to collinearity across dimensions, as embedding-derived loadings pointed in similar directions across traits (condition number $137$ vs. $1.0$; mean trait cosine $0.90$). This outcome reflects the shared vocabulary common in personality items. We propose a simple diagnostic metric based on the loading matrix condition number to evaluate whether an item bank is suitable for text-derived loadings prior to testing.
• Abstract（参考訳）: 多次元アイテム応答理論は、人間のテスト応答の大規模なサンプルから推定される、識別やカテゴリー閾値などの校正項目パラメータに依存している。 本研究では,初期項目の校正を必要とせず,事前学習した文埋め込みを用いて項目テキストから直接,これらのパラメータの方向負荷を復元できるかどうかを検討する。 オープンソースのIPIP Big-Fiveデータセット(n=19{,}719$; 50 items)を用いて,D-最適項目選択を用いた多次元コンピュータ適応テスト(CAT)シミュレーションを構築した。 そこで我々は3つの項目の読み込み源について比較した: 適応された次数付き応答モデルパラメータ、意味テキスト埋め込み、語彙ベースライン。 シミュレーションでは、セマンティック埋め込みは、適合したパラメータ($0.825$対$0.857$)と同じくらい正確に遅延特性プロファイルを復元し、単純な単語の重複($0.752$)よりも顕著に優れている。 しかし, 埋め込みモデルでは, 正確な点推定にもかかわらず, ほぼ4倍の計測不確かさを示した。 これは次元をまたいだコリナリティ(Collinearity)によるもので、埋め込みから派生したロードは、特性をまたいだ同様の方向を指し示している(条件番号137$ vs. $1.0$; mean trait cosine $0.90$)。 この結果は、パーソナリティアイテムに共通する共通語彙を反映している。 本稿では,負荷行列条件数に基づく簡易な診断基準を提案し,テスト前のテキスト由来の負荷にアイテムバンクが適しているかどうかを評価する。

関連論文リスト

• SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
  Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。 SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。 また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
  論文  参考訳（メタデータ） (2026-08-05T17:51:25Z)
• From Text to Parameters: Predicting Item Parameters from Embedding Regularization with Reliability and Design Ceilings [1.8194320623567561]
  項目テキストの埋め込みにおける正規化回帰を組み合わせた評価フレームワークを提案する。 項目の難易度はテキストから非常に予測可能である。 組込み型回帰は,ほとんどばらつきを説明できないが,RMSEのリーダと一致していることを示す。
  論文  参考訳（メタデータ） (2026-07-08T08:34:46Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• Efficient Detection of Bad Benchmark Items with Novel Scalability Coefficients [3.058685580689604]
  異方性回帰に基づく非パラメトリックな拡張係数の新たなファミリを導入する。 中心的な寄与は符号付きイソトニック$R2$であり、これは説明可能な1つの項目における分散の最大比率を測定する。 符号付き等方性$R2$は単調予測器の中で極端であることを示す。
  論文  参考訳（メタデータ） (2026-03-26T03:47:49Z)
• How to Select Datapoints for Efficient Human Evaluation of NLG Models? [57.60407340254572]
  我々は,人間の評価に最も有用なデータポイントを得るために,セレクタスイートを開発し,分析する。 本研究では,自動測定値の分散に基づくセレクタ,モデル出力の多様性,項目応答理論がランダム選択より優れていることを示す。 特に,情報源に基づく推定手法を導入し,情報源のテキストに基づいて人体評価に有用な項目を推定する。
  論文  参考訳（メタデータ） (2025-01-30T10:33:26Z)
• Random pairing MLE for estimation of item parameters in Rasch model [7.5686409814551245]
  ラッシュモデル(Rasch model)は、個人の潜伏特性と評価やアンケートに対する二分反応の関係をモデル化するために、心理学において広く用いられている。 ランダムペアリング最大値推定器(mathrmRPtext-MLE$)と自己ストラップ型マルチランダムペアリングMLE(mathrmMRPtext-MLE$)を導入する。 シミュレーションデータと実データを用いた2つの新しい推定器の有効性の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-06-20T04:32:34Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• One for All: Simultaneous Metric and Preference Learning over Multiple Users [17.083305162005136]
  回答者の群集からの同時選好とメートル法学習について検討した。 我々のモデルは、群衆のアイテム類似性の一般的な尺度を特徴付ける距離メートル法を共同で学習する。 我々は、シミュレーションデータと色嗜好判定のデータセットの両方で、モデルの性能を実証する。
  論文  参考訳（メタデータ） (2022-07-07T22:47:13Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。