論文の概要: Finding Words Associated with DIF: Predicting Differential Item Functioning using LLMs and Explainable AI

• arxiv url: http://arxiv.org/abs/2502.07017v1
• Date: Mon, 10 Feb 2025 20:22:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:17.344059
• Title: Finding Words Associated with DIF: Predicting Differential Item Functioning using LLMs and Explainable AI
• Title（参考訳）: DIFに関連する単語を見つける: LLMと説明可能なAIを用いた差分項目関数の予測
• Authors: Hotaka Maeda, Yikai Lu,
• Abstract要約: 項目テキストからディファレンシャルアイテム機能(DIF)を予測するために,いくつかのエンコーダベースのトランスフォーマー大言語モデルを微調整し,比較した。 次に、これらのモデルに説明可能な人工知能(XAI)手法を適用し、DIFに関連する特定の単語を特定する。 以上の結果から,DIFに関連する単語の多くは,設計によるテスト青写真に含まれるマイナーなサブドメインを反映していることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We fine-tuned and compared several encoder-based Transformer large language models (LLM) to predict differential item functioning (DIF) from the item text. We then applied explainable artificial intelligence (XAI) methods to these models to identify specific words associated with DIF. The data included 42,180 items designed for English language arts and mathematics summative state assessments among students in grades 3 to 11. Prediction $R^2$ ranged from .04 to .32 among eight focal and reference group pairs. Our findings suggest that many words associated with DIF reflect minor sub-domains included in the test blueprint by design, rather than construct-irrelevant item content that should be removed from assessments. This may explain why qualitative reviews of DIF items often yield confusing or inconclusive results. Our approach can be used to screen words associated with DIF during the item-writing process for immediate revision, or help review traditional DIF analysis results by highlighting key words in the text. Extensions of this research can enhance the fairness of assessment programs, especially those that lack resources to build high-quality items, and among smaller subpopulations where we do not have sufficient sample sizes for traditional DIF analyses.
• Abstract（参考訳）: 我々は,いくつかのエンコーダベーストランスフォーマー大言語モデル(LLM)を微調整し,項目テキストから差分項目関数(DIF)を予測する。 次に、これらのモデルに説明可能な人工知能(XAI)手法を適用し、DIFに関連する特定の単語を特定する。 このデータには、英語の芸術と数学のための42,180点の項目が含まれており、3年生から11年生の生徒の間では合計的な状態アセスメントがあった。 予測$R^2$は8つの焦点群と参照群のうち、.04から.32の範囲であった。 以上の結果から,DIFに関連する単語の多くは,設計によるテスト青写真に含まれるマイナーなサブドメインを反映していることが示唆された。 このことは、DIF項目の質的なレビューが、しばしば混乱または決定的な結果をもたらす理由を説明できるかもしれない。 提案手法は,項目作成プロセス中のDIF関連単語を即時修正したり,テキスト中のキーワードをハイライトすることで従来のDIF分析結果のレビューを支援することができる。 本研究の拡張により, 評価プログラムの公平性, 特に高品質な項目を構築するための資源が不足しているもの, 従来のDIF分析に十分なサンプルサイズが得られていない小さなサブポピュレーションが向上する可能性がある。

関連論文リスト

• Analysis of LLM as a grammatical feature tagger for African American English [0.6927055673104935]
  アフリカ系アメリカ人英語(AAE)は自然言語処理(NLP)に固有の課題を提示している 本研究では,利用可能なNLPモデルの性能を体系的に比較する。 本研究は,AAEの固有の言語特性をよりよく適合させるために,モデルトレーニングとアーキテクチャ調整の改善の必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-09T19:46:33Z)
• FASSILA: A Corpus for Algerian Dialect Fake News Detection and Sentiment Analysis [0.0]
  アルジェ方言(AD)は、注釈付きコーパスがないため、課題に直面している。 本研究では,Fake News(FN)検出・感情分析(SA)のための専門コーパスの開発プロセスについて概説する。
  論文  参考訳（メタデータ） (2024-11-07T10:39:10Z)
• Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
  きめ細かい評価のための新しいアプローチを導入する。 テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。 きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
  論文  参考訳（メタデータ） (2024-10-16T09:42:29Z)
• TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization [29.49641083851667]
  様々な大きさのLPMによって生成される話題中心の対話要約に関する新しい評価ベンチマークを提案する。 我々はこれらの要約の事実整合性に関する二項文レベルの人文アノテーションと、事実整合性のある文章の詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-02-20T18:58:49Z)
• Leveraging VLM-Based Pipelines to Annotate 3D Objects [68.51034848207355]
  本稿では,VLMの応答に影響を与える視点などの要因を疎外する代替アルゴリズムを提案する。 テキストのみの応答をマージする代わりに、VLMの合同画像テキストの可能性を利用する。 VLMベースのパイプラインを使って764Kデータセットから764Kオブジェクトの信頼性の高いアノテーションを生成する方法を示す。
  論文  参考訳（メタデータ） (2023-11-29T17:54:22Z)
• Extracting Multi-valued Relations from Language Models [36.944060044138304]
  我々は, 潜在言語表現を解析し, 実体化された多目的関係知識を得る可能性について検討する。 候補オブジェクトのランク付けには,既存のプロンプト技術を評価し,ドメイン知識を取り入れた新しい手法を提案する。 選択法のうち、学習された関係性特異しきい値よりも高い確率で対象を選択すると、49.5%のF1スコアが得られる。
  論文  参考訳（メタデータ） (2023-07-06T16:48:32Z)
• Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark] [65.11858854040544]
  我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。 まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。 次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。 第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
  論文  参考訳（メタデータ） (2023-04-24T08:53:54Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Polling Latent Opinions: A Method for Computational Sociolinguistics Using Transformer Language Models [4.874780144224057]
  我々は,Yelp レビューのより大きなコーパス内で,トランスフォーマー言語モデルの記憶と外挿の能力を用いて,サブグループの言語的振る舞いを学習する。 トレーニングコーパスに特定のキーワードが制限されたり、全く存在しない場合においても、GPTは正しい感情を持つ大量のテキストを正確に生成できることを示す。
  論文  参考訳（メタデータ） (2022-04-15T14:33:58Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。