論文の概要: RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German

• arxiv url: http://arxiv.org/abs/2605.11242v1
• Date: Mon, 11 May 2026 21:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.430855
• Title: RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German
• Title（参考訳）: ReTUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German
• Authors: Ignacio Sastre, Ignacio Remersaro, Facundo Díaz, Nicolás De Horta, Luis Chiruzzo, Aiala Rosá, Santiago Góngora,
• Abstract要約: BEA 2026共有タスク「Rubric-based Short Answer Scoring for German」におけるRETUYT-INCO参加について紹介する。 私たちのチームは、トラック1(3方向)、トラック3(2方向)、トラック4(2方向)に参加した。 これらのトラックは, 特定のルーリックを用いて, 生徒の短い回答をスコアリングする必要があったので, 課題の変化に対処する方法を探究した。
• 参考スコア（独自算出の注目度）: 1.64801236125822
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present the RETUYT-INCO participation at the BEA 2026 shared task "Rubric-based Short Answer Scoring for German". Our team participated in track 1 (Unseen answers three-way), track 3 (Unseen answers two-way) and track 4 (Unseen questions two-way). Since these tracks required scoring short student answers using specific rubrics, we looked for ways to handle the changing nature of the task. We created a method called Meta-prompting. In this approach, an LLM creates a custom prompt based on examples from the Train set. This prompt is then used to grade new student answers. Along with this method, we also describe other approaches we used, such as classic machine learning, fine-tuning open-source LLMs, and different prompting techniques. According to the official results, our team placed 6th out of 8 participants in Track 1 with a QWK of 0.729. In Track 3, we secured 4th place out of 9 with a QWK of 0.674, and we also placed 4th out of 8 in Track 4 with a QWK of 0.49.
• Abstract（参考訳）: 本稿では、BEA 2026共有タスク「Rubric-based Short Answer Scoring for German」におけるRETUYT-INCO参加について述べる。 私たちのチームは、トラック1(3方向)、トラック3(2方向)、トラック4(2方向)に参加した。 これらのトラックは, 特定のルーリックを用いて, 生徒の短い回答をスコアリングする必要があったので, 課題の変化に対処する方法を探究した。 私たちはMeta-promptingというメソッドを作成しました。 このアプローチでは、LLMはTrainセットの例に基づいてカスタムプロンプトを生成する。 このプロンプトは、新しい学生の回答のグレードに使用される。 この方法とともに、古典的な機械学習、微調整されたオープンソースのLCM、異なるプロンプト技術など、私たちが使用した他のアプローチについても説明する。 公式結果によると、我々のチームはトラック1の参加者8人中6人、QWKは0.729だった。 トラック3では、9点中4位、QWK0.674点、トラック4点中4位、QWK0.49点を確保しました。

関連論文リスト

• MasonTigers at SemEval-2024 Task 1: An Ensemble Approach for Semantic Textual Relatedness [5.91695168183101]
  本稿では,SemEval-2024 Task 1 - Semantic Textual RelatednessのMasonTigersエントリについて述べる。 このタスクには、教師なし(Track A)、教師なし(Track B)、14言語にわたる言語横断(Track C)アプローチが含まれる。 我々のアプローチは、トラックAで11位から21位、トラックBで1位から8位、トラックCで5位から12位までランク付けした。
  論文  参考訳（メタデータ） (2024-03-22T06:47:42Z)
• In-Context Principle Learning from Mistakes [75.66979331850364]
  Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。 我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
  論文  参考訳（メタデータ） (2024-02-08T04:42:29Z)
• Hint of Pseudo Code (HoPC): Zero-Shot Step by Step Pseudo Code Reasoning Prompting [28.103214021041097]
  本稿では,新しいHint of Pseudo Code(HoPC)プロンプト技術を紹介する。 HoPCはゼロショットCoTよりも強力なゼロショット問題分解とセマンティックコード推論機能を備えている。
  論文  参考訳（メタデータ） (2023-05-19T06:30:17Z)
• GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning [4.2570830892708225]
  本稿では,サブタスクAとサブタスクBの両方を含む,MEDIQA-2023 Dialogue2Note共有タスクへのコントリビューションについて述べる。 本稿では,対話要約問題としてタスクにアプローチし,a)事前学習した対話要約モデルとGPT-3の微調整,およびb)大規模言語モデルであるGPT-4を用いた少数ショットインコンテキスト学習(ICL)の2つのパイプラインを実装した。 どちらの方法もROUGE-1 F1、BERTScore F1(deberta-xlarge-mnli)、BLEURTで優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-08T19:16:26Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Few-Shot Complex Knowledge Base Question Answering via Meta Reinforcement Learning [55.08037694027792]
  複雑な質問答え(CQA)は、知識ベース(KB)上の複雑な自然言語質問に答える。 従来のニューラルプログラム誘導(NPI)アプローチは、質問の種類が異なる場合、不均一なパフォーマンスを示す。 本稿では,CQAにおけるプログラム誘導のためのメタ強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-29T18:34:55Z)
• No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension [92.57688872599998]
  本稿では,全ての回答型を体系的に扱う新しい手法を提案する。 特に,2段階の訓練手法を応用し,非解答事例と誤答事例を識別する反射ネットという新しい手法を提案する。 F1スコアはそれぞれ77.2点,64.1点であった。
  論文  参考訳（メタデータ） (2020-09-25T06:57:52Z)
• UPB at SemEval-2020 Task 9: Identifying Sentiment in Code-Mixed Social Media Texts using Transformers and Multi-Task Learning [1.7196613099537055]
  本研究チームは,SemEval-2020 Task 9のために開発したシステムについて述べる。 私たちは、ヒンディー語とスペイン語の2つのよく知られた混成言語をカバーすることを目指しています。 提案手法は, 平均F1スコアが0.6850であるヒンディー語タスクにおいて, 有望な性能を達成する。 スペイン語と英語のタスクでは、29人中17人として、平均で0.7064のF1スコアを獲得しました。
  論文  参考訳（メタデータ） (2020-09-06T17:19:18Z)
• Tracking by Instance Detection: A Meta-Learning Approach [99.66119903655711]
  本稿では,高性能トラッカー構築のための3段階の原理的手法を提案する。 我々は2つの現代的な検出器であるRetinaNetとFCOSをベースに、Retina-MAMLとFCOS-MAMLという2つのトラッカーを構築した。 両方のトラッカーは40FPSでリアルタイムに動作します。
  論文  参考訳（メタデータ） (2020-04-02T05:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。