論文の概要: EduExplain: A Benchmark for Explanation-Set Retrieval and Storyboard Construction in Educational Explanation

• arxiv url: http://arxiv.org/abs/2611.00802v1
• Date: Sat, 31 Oct 2026 10:24:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:03.354759
• Title: EduExplain: A Benchmark for Explanation-Set Retrieval and Storyboard Construction in Educational Explanation
• Title（参考訳）: EduExplain:教育説明における説明セット検索とストーリーボード構築のためのベンチマーク
• Abstract要約: EduExplainは、説明作成の両段階で人間に検証された真実を提供するベンチマークである。 6,921の型付きマルチモーダルリソースと2,123のコンセプトと、321の学習者指向クエリと1つ以上の人為的な説明セットのペアで構成されている。 LLMを用いた人為的な建設パイプラインについて述べるとともに,両層間のアノテータ間合意を報告し,各ステージのベースラインを確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Generating an educational explanation for a learner's query is not a single retrieval step but a pipeline: a system must first retrieve a compact set of complementary resources--passages, figures, examples, activities--that jointly support an explanation, then structure that set into an ordered, timed, role-assigned plan before rendering it as a lesson or video. Existing retrieval benchmarks evaluate neither stage at the level these applications require: they score individual documents rather than explanation sets, and provide no ground truth for how a set should be organised into an explanation. We present EduExplain, a benchmark providing human-validated ground truth for both stages. Built from secondary-level science textbooks, it comprises 6,921 typed, multimodal resources and 2,123 concepts, and pairs each of 321 learner-oriented queries with one or more human-validated explanation sets (retrieval ground truth) and 741 reference storyboards (structuring ground truth). The benchmark exposes characteristics absent from prior datasets: heterogeneous multimodal retrieval units, multiple valid explanation sets per query, and plans whose quality depends on pedagogical role composition, grounding, and timing rather than relevance alone. We describe an LLM-assisted, human-validated construction pipeline, report inter-annotator agreement for both layers, and establish baselines for each stage--lexical, dense, multimodal, and cross-encoder retrieval paired with four selection strategies, and free-form and fixed-template storyboard construction. Our results show that first-stage retrieval quality dominates retrieval-stage performance, that off-the-shelf diversity-based selection underperforms simple top-ranked selection, and that unconstrained and rigidly templated structuring both fall short of the reference plans. The benchmark is available at https://github.com/data-iitd/eduexplain.
• Abstract（参考訳）: システムはまず、パス、図形、例、アクティビティといった、補完的なリソースのコンパクトなセットを検索しなければなりません。 既存のベンチマークでは、これらのアプリケーションに必要なレベルにおいて、説明セットではなく個々の文書をスコアし、どのようにセットを説明に組み込むべきかの根拠となる真実を示さない。 EduExplainは、両方のステージに人間の検証済みの真実を提供するベンチマークである。 セカンダリレベルの科学教科書から構築され、6,921の型付きマルチモーダルリソースと2,123のコンセプトと、321の学習者指向クエリと1つ以上の人間公認の説明セット(検索地上真実)と741の参照ストーリーボード(構造化地上真実)から構成されている。 このベンチマークでは、不均一なマルチモーダル検索ユニット、クエリ毎の複数の有効な説明セット、教育的役割構成、接地、タイミングに依存しているプランなど、従来のデータセットにはない特徴を明らかにしている。 本稿は,LLMを用いた人為的検証パイプライン,両層間のアノテータ間合意の報告,および4つの選択戦略,自由型および固定型ストーリーボード構築を組み合わせ,各ステージ毎のベースラインを確立することを目的とする。 以上の結果から,第1段階の検索品質が検索段階の成績を上回り,既成の多様性に基づく選択が単純なトップランク選択を過小評価し,制約のない,厳密にテンプレート化された構造が参照計画より不足していることが示唆された。 ベンチマークはhttps://github.com/data-iitd/eduexplain.comで公開されている。

関連論文リスト

• Pretraining Reusable Inference Across Views with Synthetic Task Priors [21.47966082652401]
  現代の事前訓練されたエンコーダは、不均一なビューからの表現を再利用しやすくするが、ビューユーティリティを決定し、エビデンスを組み合わせる手順は、下流の各タスクにまだ残されている。 提案するSIMPLEは,クエリラベルを小さなラベル付きサポートセットに条件付けすることで,クエリラベルを予測するマルチコンテキスト学習システムである。 マルチビューおよびマルチオミクスベンチマークの実験は、SIMPLEの凍結版が推論バックボーンを更新することなく競合性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-08-19T17:10:03Z)
• From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding [15.376371030121094]
  ReceiptBenchは10万の多様なレシートからなる、大規模で人間による注釈付きベンチマークである。 ReceiptBenchは10万の多様なレシートからなる大規模で人手による注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• Dual-View Training for Instruction-Following Information Retrieval [9.741583305127994]
  極性反転に基づく2視点データ合成戦略を提案する。 提案手法はFollowIRベンチマークの性能を45%向上させる。
  論文  参考訳（メタデータ） (2026-04-20T21:10:29Z)
• DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
  本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。 ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
  論文  参考訳（メタデータ） (2026-04-14T14:39:26Z)
• MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
  環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。 MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。 MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
  論文  参考訳（メタデータ） (2025-07-25T03:58:07Z)
• Beyond Retrieval: Joint Supervision and Multimodal Document Ranking for Textbook Question Answering [3.6799953119508735]
  本稿では,意味表現を拡張化するためのメカニズムを導入することで,マルチモーダルな教科書質問応答手法を提案する。 我々のモデルであるJETRTQA(Joint Embedding Training With Ranking Supervision for Textbook Question Answering)は、検索ジェネレータアーキテクチャ上に構築されたマルチモーダル学習フレームワークである。 本手法をCK12-QAデータセット上で評価し,情報化文書と無関係文書の識別を著しく改善することを示す。
  論文  参考訳（メタデータ） (2025-05-17T13:23:54Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• ReSel: N-ary Relation Extraction from Scientific Text and Tables by Learning to Retrieve and Select [53.071352033539526]
  学術論文からN-ary関係を抽出する問題について考察する。 提案手法であるReSelは,このタスクを2段階のプロシージャに分解する。 3つの科学的情報抽出データセットに対する実験により、ReSelは最先端のベースラインを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T02:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。