論文の概要: DRIVE-T: A Methodology for Discriminative and Representative Data Viz Item Selection for Literacy Construct and Assessment
- arxiv url: http://arxiv.org/abs/2508.04160v1
- Date: Wed, 06 Aug 2025 07:34:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.59414
- Title: DRIVE-T: A Methodology for Discriminative and Representative Data Viz Item Selection for Literacy Construct and Assessment
- Title（参考訳）: DRIVE-T:リテラシー構築・評価のための識別的・代表的データビズ項目選択手法
- Authors: Angela Locoro, Silvia Golia, Davide Falessi,
- Abstract要約: DRIVE-Tは評価項目の構築と評価を促進するための方法論である。
これは、データ可視化リテラシーのレベルを測定するために、タスクベースのアイテムの識別と代表性をサポートする。
提案手法の各ステップを,測定構造の難易度をモデル化した項目バンクに提示し,適用する。
- 参考スコア（独自算出の注目度）: 1.9389881806157316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The underspecification of progressive levels of difficulty in measurement constructs design and assessment tests for data visualization literacy may hinder the expressivity of measurements in both test design and test reuse. To mitigate this problem, this paper proposes DRIVE-T (Discriminating and Representative Items for Validating Expressive Tests), a methodology designed to drive the construction and evaluation of assessment items. Given a data vizualization, DRIVE-T supports the identification of task-based items discriminability and representativeness for measuring levels of data visualization literacy. DRIVE-T consists of three steps: (1) tagging task-based items associated with a set of data vizualizations; (2) rating them by independent raters for their difficulty; (3) analysing raters' raw scores through a Many-Facet Rasch Measurement model. In this way, we can observe the emergence of difficulty levels of the measurement construct, derived from the discriminability and representativeness of task-based items for each data vizualization, ordered into Many-Facets construct levels. In this study, we show and apply each step of the methodology to an item bank, which models the difficulty levels of a measurement construct approximating a latent construct for data visualization literacy. This measurement construct is drawn from semiotics, i.e., based on the syntax, semantics and pragmatics knowledge that each data visualization may require to be mastered by people. The DRIVE-T methodology operationalises an inductive approach, observable in a post-design phase of the items preparation, for formative-style and practice-based measurement construct emergence. A pilot study with items selected through the application of DRIVE-T is also presented to test our approach.
- Abstract（参考訳）: データビジュアライゼーションのリテラシーのための設計および評価試験は、測定の段階的な難易度を過小評価することは、テスト設計とテスト再利用の両方において、測定の表現性を阻害する可能性がある。
この問題を軽減するため,本研究では,評価項目の構築と評価を促進する手法であるDRIVE-T (Discrimination and Representative Items for Validating Expressive Tests)を提案する。
データビズール化を与えられたDRIVE-Tは、データ視覚化リテラシーのレベルを測定するためのタスクベースのアイテムの識別と代表性をサポートする。
DRIVE-Tは,(1)データビズール化に関連するタスクベース項目のタグ付け,(2)データビズール化の困難さに対する評価,(3)多面ラッシュ測定モデルによるレーダの生スコアの分析,の3段階からなる。
このようにして、多面体構成レベルに順序づけられた各データビザライゼーションにおけるタスクベースの項目の識別性と代表性から、測定構成の難易度が出現するのを観察することができる。
本研究では,データ可視化リテラシーのための潜在構造体を近似した測定構造体の難易度をモデル化し,その手法の各ステップをアイテムバンクに適用する。
この測定構造は、例えば、各データビジュアライゼーションが人によってマスターされる必要があるという構文、意味論、実用的な知識に基づいて、セミオティックスから引き出される。
DRIVE-T法は、項目作成後のフェーズで観察可能な帰納的アプローチを運用し、形式的および実践的測定に基づく構成の台頭を図っている。
DRIVE-Tの適用により選択した項目を用いたパイロットスタディも提案した。
関連論文リスト
- Human-AI Collaboration or Academic Misconduct? Measuring AI Use in Student Writing Through Stylometric Evidence [0.0]
本研究は,学術著作におけるAI支援の定量化のためのオーサシップ検証(AV)技術の利用について検討する。
公開データセット(PAN-14)を含む3つのデータセットと、さまざまなコースのメルボルン大学の学生の2つを使用します。
学生向けの堅牢な書記プロファイルを構築するために,特徴ベクトル差分AV手法を開発した。
論文 参考訳（メタデータ） (2025-05-13T00:36:36Z) - Enriching Social Science Research via Survey Item Linking [11.902701975866595]
本研究では,SIL(Survey Item Linking)と呼ばれるタスクを2段階に分けてモデル化する。
この目的のために、20,454の英語文とドイツ語文からなる高品質でリッチな注釈付きデータセットを作成します。
タスクが実現可能であることを実証するが、エラーが第1段階から伝播し、全体のタスク性能が低下するのを観察する。
論文 参考訳（メタデータ） (2024-12-20T12:14:33Z) - How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - DecompEval: Evaluating Generated Texts as Unsupervised Decomposed
Question Answering [95.89707479748161]
自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。
本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。
本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。
PLMが生成した回答を証拠として再検討し、評価結果を得る。
論文 参考訳（メタデータ） (2023-07-13T16:16:51Z) - Weakly Supervised Anomaly Detection: A Survey [75.26180038443462]
異常検出(AD)は、さまざまなアプリケーションによる機械学習において重要なタスクである。
弱教師付き異常検出法(WSAD)の総合的な調査を行った。
各設定に対して、正式な定義、鍵アルゴリズム、潜在的な将来の方向性を提供する。
論文 参考訳（メタデータ） (2023-02-09T10:27:21Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs [37.754787051387034]
本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。
私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。
我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
論文 参考訳（メタデータ） (2022-11-15T07:28:14Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳（メタデータ） (2022-02-17T18:58:31Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - Domain-Guided Task Decomposition with Self-Training for Detecting
Personal Events in Social Media [11.638298634523945]
ソーシャルメディアをマイニングすることで、個人的な経験や出来事を検知したり、語彙の空間性に悩まされたり、トレーニングデータに乏しかったり、発明的な辞書を作ったりする。
ラベル付きデータを広範囲に作成することの負担を軽減するため、我々は2つのステップでこれらのタスクを実行することを提案する。
鍵概念を識別してタスクをドメイン固有のサブタスクに分解し、人間のドメイン理解を活用する。 2. ラベル付きトレーニングデータの要求を減らし、協調学習を用いて各鍵概念に対する学習者の結果を組み合わせる。
論文 参考訳（メタデータ） (2020-04-21T14:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。