論文の概要: An Agentic Evaluation Architecture for Historical Bias Detection in Educational Textbooks

• arxiv url: http://arxiv.org/abs/2604.07883v1
• Date: Thu, 09 Apr 2026 06:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.746607
• Title: An Agentic Evaluation Architecture for Historical Bias Detection in Educational Textbooks
• Title（参考訳）: 教科書における履歴バイアス検出のためのエージェント評価手法
• Authors: Gabriel Stefan, Adrian-Marius Dumitran,
• Abstract要約: 歴史教科書には、しばしば暗黙の偏見、ナショナリストのフレーミング、大規模な監査が難しい選択的な省略が含まれている。 本稿では,マルチモーダルスクリーニングエージェント,5つの評価エージェントからなる異種陪審,および評価合成と人間のエスカレーションのためのメタエージェントからなるエージェント評価アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: History textbooks often contain implicit biases, nationalist framing, and selective omissions that are difficult to audit at scale. We propose an agentic evaluation architecture comprising a multimodal screening agent, a heterogeneous jury of five evaluative agents, and a meta-agent for verdict synthesis and human escalation. A central contribution is a Source Attribution Protocol that distinguishes textbook narrative from quoted historical sources, preventing the misattribution that causes systematic false positives in single-model evaluators. In an empirical study on Romanian upper-secondary history textbooks, 83.3\% of 270 screened excerpts were classified as pedagogically acceptable (mean severity 2.9/7), versus 5.4/7 under a zero-shot baseline, demonstrating that agentic deliberation mitigates over-penalization. In a blind human evaluation (18 evaluators, 54 comparisons), the Independent Deliberation configuration was preferred in 64.8\% of cases over both a heuristic variant and the zero-shot baseline. At approximately \$2 per textbook, these results position agentic evaluation architectures as economically viable decision-support tools for educational governance.
• Abstract（参考訳）: 歴史教科書には、しばしば暗黙の偏見、ナショナリストのフレーミング、大規模な監査が難しい選択的な省略が含まれている。 本稿では,マルチモーダルスクリーニングエージェント,5つの評価エージェントからなる異種陪審,および評価合成と人間のエスカレーションのためのメタエージェントからなるエージェント評価アーキテクチャを提案する。 中心的な貢献は、教科書の物語を引用された歴史資料と区別するソース属性プロトコルであり、単一のモデル評価装置において体系的な偽陽性を引き起こす誤解を防止している。 ルーマニアの上級中等歴史教科書に関する実証的研究では、270点の抜粋のうち83.3\%が教育的に許容される(平均重大度2.9/7)。 ブラインド・ヒューマン・アセスメント(18の評価器、54の比較)では、インディペンデント・ディリベレーションの構成は、ヒューリスティックな変種とゼロショットのベースラインの両方よりも64.8%のケースで好まれた。 教科書あたり約2ドルで、これらの結果はエージェント評価アーキテクチャを教育ガバナンスのための経済的に実行可能な意思決定支援ツールとして位置づけている。

関連論文リスト

• ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review [48.60540055009675]
  ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。 We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
  論文  参考訳（メタデータ） (2026-01-30T06:54:55Z)
• BAID: A Benchmark for Bias Assessment of AI Detectors [9.156813547624923]
  本稿では,AI検出器の各種バイアスに対する包括的評価フレームワークであるBAIDを提案する。 人口統計,年齢,教育年数,方言,形式,政治的傾倒,話題の7つのカテゴリーにまたがる200万以上のサンプルを紹介した。 検出性能には一貫した相違があり、特に低表現群からのテキストのリコールレートは低い。
  論文  参考訳（メタデータ） (2025-12-12T12:01:42Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Developing A Framework to Support Human Evaluation of Bias in Generated Free Response Text [8.41305848182636]
  本稿では,自由テキスト応答のための半自動バイアス評価フレームワークの開発に向けての道程について述べる。 我々は、パイプラインの自動化を支援するバイアスの運用定義と、複数の選択を越えてバイアスを分類する方法論をどのように開発したかについて議論した。
  論文  参考訳（メタデータ） (2025-05-05T22:26:55Z)
• Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings [36.449658676568234]
  大規模言語モデル(LLM)-as-judgeパラダイムは、モデル出力の安価で信頼性の高い高速な評価要求を満たすために使われてきた。 実世界の文脈評価シナリオにインスパイアされた8つの分割に対して2,000の挑戦的な応答対を持つ判定ベンチマークであるContextualJudgeBenchを提案する。 我々の総合的研究は、文脈情報とその評価基準が最先端モデルにおいても重要な課題であることを示している。
  論文  参考訳（メタデータ） (2025-03-19T18:09:19Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Independent Ethical Assessment of Text Classification Models: A Hate Speech Detection Case Study [0.5541644538483947]
  人工知能システムの独立した倫理的評価は、倫理的価値に合わせてシステムの発達、展開、使用を公平に検証するものである。 本研究は、このギャップを埋め、ヘイトスピーチ検出の課題に特化して、テキスト分類モデルの総合的な独立した倫理的評価プロセスを設計する。
  論文  参考訳（メタデータ） (2021-07-19T23:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。