論文の概要: DKnown-Jev: Fine-Tuning and Evaluation of a JEV-Style Model for Tasks Involving Normative Knowledge

• arxiv url: http://arxiv.org/abs/2610.24358v1
• Date: Sat, 17 Oct 2026 01:17:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:48:07.862977
• Title: DKnown-Jev: Fine-Tuning and Evaluation of a JEV-Style Model for Tasks Involving Normative Knowledge
• Title（参考訳）: DKnown-Jev: 規範的知識を含むタスクのためのJEVスタイルモデルの微調整と評価
• Abstract要約: DKnown-Jevは,候補節の規範的ユーザビリティを2つのクラスに分類する。 2Bと27Bの構成は、それぞれQwen3.5-2BとQwen3.8-27Bベースモデルから直接微調整される。 5つの構成は、1,120人の検証されたサンプルの同じテストセットで評価される。
• 参考スコア（独自算出の注目度）: 9.860310148083416
• License:
• Abstract: Tasks involving normative knowledge include concept interpretation, eligibility determination, procedure explanation, material requirements, and service-outcome assessment, all of which require rules and facts published, maintained, or recorded by authorized entities. Whether a candidate paragraph can answer a question therefore depends on applicability and answer completeness as well as topical relevance. We develop DKnown-Jev to classify the normative usability of candidate paragraphs into two classes. The 2B and 27B configurations are fine-tuned directly from the native Qwen3.5-2B and Qwen3.8-27B base models, respectively. The models combine question conditions, article metadata, and paragraph content, adopt the classes Answer Evidence (AE) and Non-answer Evidence (NE), and undergo domain adaptation using human-verified training data. Five configurations are evaluated on the same test set of 1,120 human-verified examples. DKnown-Jev 27B trained for one epoch achieves the highest accuracy of 98.75% and macro-F1 of 98.60%, exceeding Jev by 6.07 and 6.76 percentage points, respectively. DKnown-Jev 2B trained for one epoch achieves 92.86% accuracy and 92.18% macro-F1, the best aggregate results among the tested 2B configurations. Its gains over Jev are 0.18 and 0.33 percentage points on this test set, corresponding to only two additional correct predictions, which is insufficient to establish a stable advantage. The 27B one-epoch, 27B two-epoch, and 2B one-epoch configurations all exceed Jev on both metrics on this test set. Class-level analysis shows that the 27B two-epoch configuration has the highest AE recall, while the 27B one-epoch configuration has the highest NE recall. This study provides practical and empirical evidence for developing and applying candidate-scoring models to tasks involving normative knowledge.
• Abstract（参考訳）: 規範的知識を含む課題には、概念解釈、適性判定、手続き説明、資料要件、サービスアウトカム評価が含まれており、これらは全て、認可された機関によって公表、維持、記録される規則と事実を必要とする。 したがって、ある質問に答えられるか否かは、適用可能性と回答の完全性、および話題の関連性に依存する。 DKnown-Jevは,候補節の規範的ユーザビリティを2つのクラスに分類する。 2Bと27Bの構成は、それぞれQwen3.5-2BとQwen3.8-27Bベースモデルから直接微調整される。 これらのモデルは,質問条件,記事メタデータ,段落内容を組み合わせて,回答証拠 (AE) と非回答証拠 (NE) を採用し,人間認証トレーニングデータを用いてドメイン適応を行う。 5つの構成は、1,120人の検証されたサンプルの同じテストセットで評価される。 DKnown-Jev 27Bは1つのエポックで訓練され、最高精度は98.75%、マクロF1は98.60%となり、それぞれ6.07ポイント、マクロF1は6.76ポイントを超えた。 1つのエポックのために訓練されたDKnown-Jev 2Bは92.86%の精度と92.18%のマクロF1を達成する。 Jevに対する利得は0.18ポイントと0.33ポイントであり、安定な優位性を確立するには不十分な2つの追加の正確な予測に対応する。 27B 1-epoch、27B 2-epoch、および2B 1-epoch構成は全て、このテストセット上の両方のメトリクスでJevを超える。 クラスレベルの分析では、27Bの2エピック構成はAEリコールが最も高く、27Bの1エピック構成はNEリコールが最も高い。 本研究は,規範的知識を含む課題に候補標示モデルを開発し,適用するための実践的かつ実証的な証拠を提供する。

関連論文リスト

• A First Glance at Jev for Network Traffic Classification: Accuracy, Processing Time, and Cost [0.19336815376402716]
  我々は,CESNET-QUICEXT-25における10のデータセット定義アプリケーションラベル上でJevを評価した。 40の固定ラベル付き例は、Jevの精度を9.80%から28.42%に引き上げている。 ペア化された100レコードサブセットでは、40のサンプルを持つJevが、中央値の要求時間0.750秒で29%の精度を達成しているのに対して、生成言語モデルOpenAI GPT-5.6では37%と6.036秒の精度で、Azureによる高い推論の努力を払っている。
  論文  参考訳（メタデータ） (2026-09-30T08:21:44Z)
• LearnOpt: Recovering the Latent Cognitive Structure of Standardized Examinations via Knowledge Graphs and Constrained Optimization [0.0]
  LearnOptは、過去の質問紙からパーソナライズされたタイムバウンドな研究プランを生成する。 NEETの潜伏能力の分布はシラバス系内で安定である。 潜在認知構造は断片的に安定しており、変化は検出可能であり、曲がりくねった出来事に起因する。
  論文  参考訳（メタデータ） (2026-06-13T15:21:53Z)
• Skill Availability and Presentation Granularity in Large-Language-Model Agents: A Controlled SkillsBench Study [1.6787220460106658]
  本稿では、制御されたスキル知識の提示がタスク成功の下流に変化するかどうかを考察する。 この制御されたサブセットでは、スキルの可用性は、スキルのないものよりも高い成功と関連付けられ、一方、テストされたプレゼンテーションの粒度の変化は、小さく、不確実で、モデルに依存した効果をもたらす。
  論文  参考訳（メタデータ） (2026-05-29T15:12:24Z)
• GIM: Evaluating models via tasks that integrate multiple cognitive domains [42.01371688303606]
  Grounded Integration Measureは、820のオリジナルの問題のベンチマークである。 それぞれの問題は、オリジナルの専門家による作曲である。 バランスのとれた公民分離は、汚染診断を内蔵する。
  論文  参考訳（メタデータ） (2026-05-18T17:09:50Z)
• ZZU-NLP at SIGHAN-2024 dimABSA Task: Aspect-Based Sentiment Analysis with Coarse-to-Fine In-context Learning [0.36332383102551763]
  DimABSAタスクはレストランレビューに微妙な感情強度予測を必要とする。 そこで本稿では,DimABSAタスクに対するBaichuan2-7Bモデルに基づく大まかなインコンテクスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T02:54:46Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。