論文の概要: Domain-Grounded Evaluation of LLMs in International Student Knowledge

• arxiv url: http://arxiv.org/abs/2511.20653v1
• Date: Tue, 07 Oct 2025 15:37:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-07 19:06:32.305583
• Title: Domain-Grounded Evaluation of LLMs in International Student Knowledge
• Title（参考訳）: 国際学生知識におけるLLMの領域別評価
• Authors: Claudinei Daitx, Haitham Amar,
• Abstract要約: 大規模言語モデル (LLMs) は、ハイテイクな研究対象の質問に答えるためにますます使われている。 学生のアドバイスを確実に行うか、あるいはどんなに役に立つ回答が、支持できない主張に流れ込むかは、まだ不明だ。 この作業は、現在のLLMがこの環境でどのように振る舞うかを明確にした、ドメインベースの概要を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to answer high-stakes study-abroad questions about admissions, visas, scholarships, and eligibility. Yet it remains unclear how reliably they advise students, and how often otherwise helpful answers drift into unsupported claims (``hallucinations''). This work provides a clear, domain-grounded overview of how current LLMs behave in this setting. Using realistic questions set drawn from ApplyBoard's advising workflows -- an EdTech platform that supports students from discovery to enrolment -- we evaluate two essentials side by side: accuracy (is the information correct and complete?) and hallucination (does the model add content not supported by the question or domain evidence). These questions are categorized by domain scope which can be a single-domain or multi-domain -- when it must integrate evidence across areas such as admissions, visas, and scholarships. To reflect real advising quality, we grade answers with a simple rubric which is correct, partial, or wrong. The rubric is domain-coverage-aware: an answer can be partial if it addresses only a subset of the required domains, and it can be over-scoped if it introduces extra, unnecessary domains; both patterns are captured in our scoring as under-coverage or reduced relevance/hallucination. We also report measures of faithfulness and answer relevance, alongside an aggregate hallucination score, to capture relevance and usefulness. All models are tested with the same questions for a fair, head-to-head comparison. Our goals are to: (1) give a clear picture of which models are most dependable for study-abroad advising, (2) surface common failure modes -- where answers are incomplete, off-topic, or unsupported, and (3) offer a practical, reusable protocol for auditing LLMs before deployment in education and advising contexts.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、入学、ビザ、奨学金、資格に関する高度な研究課題に答えるために、ますます使われてきている。 しかし、学生がいかに確実に助言するか、どのようにして役に立つ答えが不当な主張(『幻覚』)に流れ込むかは、いまだに不明である。 この作業は、現在のLLMがこの環境でどのように振る舞うかを明確にした、ドメインベースの概要を提供する。 ApplyBoardのアドバイスワークフロー(EdTechプラットフォームで、学生の発見からエントロメントまでをサポートする)から得られた現実的な質問を使って、2つの必須事項を並べて評価する:正確さ(正確で完全な情報)と幻覚(このモデルは、質問やドメインエビデンスでサポートされていないコンテンツを追加します)。 これらの質問はドメインの範囲によって分類されるが、それは単一のドメインまたは複数のドメインであり、入試、ビザ、奨学金などの分野にまたがって証拠を統合する必要がある。 実際の助言品質を反映するために、我々は、正しい、部分的である、または間違っている単純なルーリックで回答を格付けする。 答えは、必要なドメインのサブセットだけに対処すれば部分的であり、余分な不要なドメインを導入すればオーバースコープされる。 また,総括幻覚スコアとともに,忠実度と回答妥当性の尺度を報告し,その妥当性と有用性を把握した。 すべてのモデルは、公平で真っ向から比較するために、同じ質問でテストされます。 目的は,(1)どのモデルが最も信頼できるのか,(2) 表向きの共通障害モード – 回答が不完全で,オフトピー的,あるいはサポートされていない – を明確にした上で,(3) 教育や助言の文脈に展開する前に,LCMを監査するための実用的,再利用可能なプロトコルを提供する。

関連論文リスト

• When and What to Ask: AskBench and Rubric-Guided RLVR for LLM Clarification [8.391356566325054]
  大きな言語モデル(LLM)は、重要な詳細を省略したり、誤解を招く情報を含まない場合にも、しばしば応答する。 タスク性能を犠牲にすることなく,LLMがいつ,何を求めるかを決定する能力の評価と改善について検討する。 AskBenchは、標準的なQAペアを明示的なチェックポイントを持つマルチターンインタラクションに変換する対話型ベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T02:21:01Z)
• Exploring How LLMs Capture and Represent Domain-Specific Knowledge [16.84031546207366]
  本研究では,Large Language Models (LLM) が本質的に自然言語のドメイン固有ニュアンスをキャプチャするかどうかを検討する。 実験では,LLMの領域感度を,異なる領域からクエリを識別する能力について検討した。 本稿では,クエリドメインの内部認識を示す潜在ドメイン関連トラジェクトリを明らかにする。
  論文  参考訳（メタデータ） (2025-04-23T16:46:06Z)
• Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering [20.948737566388036]
  法的質問応答(QA)は、法的助言を求める人々から注目を集めている。 従来の手法では、主に二重エンコーダアーキテクチャを使用して、質問と回答の密集した表現を学習していた。 本稿では,アンダーラインプレトレーニング,アンダーラインファインチューニング,アンダーラインレグレードのための3段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-27T06:33:42Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
  あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。 我々はアノテータに正しい回答の選択についての説明を依頼する。
  論文  参考訳（メタデータ） (2024-10-16T07:24:28Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Backtracing: Retrieving the Cause of the Query [7.715089044732362]
  本稿では,ユーザクエリを最も引き起こす可能性のあるテキストセグメントをシステムで検索する,バックトラシングのタスクを紹介する。 人気情報検索手法と言語モデリング手法のゼロショット性能を評価する。 以上の結果から,後方追跡には改善の余地があり,新たな検索手法が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-06T18:59:02Z)
• What Evidence Do Language Models Find Convincing? [94.90663008214918]
  議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。 このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。 全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
  論文  参考訳（メタデータ） (2024-02-19T02:15:34Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。