Fugu-MT 論文翻訳(概要): Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring

論文の概要: Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring

arxiv url: http://arxiv.org/abs/2610.09660v1
Date: Wed, 07 Oct 2026 08:29:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:22.797615
Title: Rubric Spans are Label Representations: Joint LLM Encoding for Short Answer Scoring
Title（参考訳）: Rubric Spans is Label Representations: Joint LLM Encoding for Short Answer Scoring
Abstract要約: 本稿では,ルーブリック記述を意味ラベル表現として扱うルーブリック条件付きASASフレームワークであるRUSPANを提案する。英語、ドイツ語、ポルトガル語にまたがるASASの6つのベンチマークでは、RUSPANは差別的基準よりもモノベンチマークスコアを改善している。
参考スコア（独自算出の注目度）: 0.410492188035848
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Automatic Short Answer Scoring (ASAS) requires models that can score student responses against question-specific criteria while remaining efficient and transferable across rubric sets. We propose RUSPAN, a rubric-conditioned ASAS framework that treats rubric descriptions as semantic label representations. RUSPAN serialises the question context, student answer, and all candidate rubric levels into a single sequence, then scores the levels listwise from the rubric-span and whole-sequence representations produced in a single LM pass. We further introduce RUSPAN-RIM, in which a Rubric-Independent Mask prevents rubric spans from attending to one another, making rubric representations depend only on the answer and question context and preventing overfitting to rubric patterns during training for zero-shot transfer. On six ASAS benchmarks spanning English, German, and Portuguese, RUSPAN improves mono-benchmark scoring over discriminative and generative baselines, while RIM with position reindexing delivers consistent and substantial gains on PT-ASAG, the held-out benchmark with the strongest combined language and rubric-structure shift.
Abstract（参考訳）: Automatic Short Answer Scoring (ASAS) は、学生の反応を質問特化基準に当てはめながら、効率が良く、ルーリック集合間で転送できるモデルを必要とする。本稿では,ルーブリック記述を意味ラベル表現として扱うルーブリック条件付きASASフレームワークであるRUSPANを提案する。 RUSPANは質問コンテキスト、生徒の回答、および全ての候補のルーブリックレベルを1つのシーケンスにシリアライズし、その後、1つのLMパスで生成されたルーブリックスパンと全シーケンス表現からリストアップする。さらに、RASPAN-RIMを導入し、ルーブリック非依存のマスクがルーブリックスパンへの参加を妨げ、ルーブリック表現を応答と質問コンテキストにのみ依存させ、ゼロショット転送のためのトレーニング中にルーブリックパターンへの過度な適合を防止する。英語、ドイツ語、ポルトガル語にまたがるASASの6つのベンチマークでは、RUSPANは差別的および生成的ベースラインよりもモノベンチマークのスコアを向上し、RIMは、最も強力な組合せ言語とルーリック構造シフトを備えたホールドアウトベンチマークであるPT-ASAGに対して、一貫性と実質的なゲインを提供する。

関連論文リスト

Marginal Response Surface Elicitation for Zero-Label Tabular Learning [21.56018689114288]
大規模言語モデル(LLM)は、タスク記述と機能セマンティクスに基づいてドメインの事前情報を取得するために使用できる。特徴レベルのLCM先行値を再利用可能なゼロショット分類器に変換する手法であるMarginal Response Surface Elicitation (MARS)を提案する。 MARSは平均的なAUCとAPをそれぞれ1.97ポイントと6.21ポイントで上回っている。
論文参考訳（メタデータ） (2026-09-30T12:44:14Z)
GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文参考訳（メタデータ） (2026-08-30T15:39:39Z)
QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
クエリとルーブリックを共同設計するフレームワークを提案する。 QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
論文参考訳（メタデータ） (2026-06-02T17:53:04Z)
UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute [12.89120699793625]
Generative Recommendation (GR) reframes search and ranking as autoregressive decoding over Semantic IDs (SIDs) p(y|f,u) によるランクは p(f|y,u) によるランクと同値であり、アイテムの特徴を自己回帰的に分解する。提案するUniRecとChain-of-Attribute(CoA)は、その中核となるメカニズムである。CoAは、SIDを復号する前に構造化属性トークン:カテゴリ、販売者、ブランドを含む各SIDシーケンスをプレフィックスし、識別モデルが活用するアイテム側の特徴交差を復元する。
論文参考訳（メタデータ） (2026-04-14T03:13:50Z)
Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks [30.108876878365496]
強化学習(Reinforcement Learning, RL)は,大規模言語モデルと複雑なオープンドメイン命令を連携させる,有望なアプローチとして登場した。既存の手法は主に応答レベルの報酬に依存しており、厳格な報酬の分散と報酬のあいまいさの問題を導入している。粗い応答レベルスコアときめ細かいトークンレベルクレジット割り当てを橋渡しするルーブリックベースの新しいRLフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-03T07:02:57Z)
SALSA: Single-pass Autoregressive LLM Structured Classification [1.9371675344367494]
本稿では,構造化プロンプト,クラスツーツーケンマッピング,パラメータ効率の高い微調整を組み合わせたコヒーレントパイプラインであるSALSAを紹介する。推論中、モデルの出力は関連するクラストークンのロジットにのみ投影され、単一のフォワードパスにおける効率的かつ正確な分類を可能にする。
論文参考訳（メタデータ） (2025-10-26T14:28:42Z)
ZeroGR: A Generalizable and Scalable Framework for Zero-Shot Generative Retrieval [125.19156877994612]
生成検索(GR)は、情報検索(IR)を文書識別子(ドシデント)の生成としてフレーミングすることによって再構成する我々は、自然言語命令を利用して幅広いIRタスクにわたってGRを拡張するゼロショット生成検索フレームワークであるtextscZeroGRを提案する。具体的には、textscZeroGRは、3つのキーコンポーネントで構成されている: (i)不均一な文書を意味的に意味のあるドシデントに統一するLMベースのドシデントジェネレータ; (ii)自然言語タスク記述から様々なタイプのクエリを生成し、拡張する命令チューニングクエリジェネレータ。
論文参考訳（メタデータ） (2025-10-12T03:04:24Z)
Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-16T16:09:05Z)
Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
論文参考訳（メタデータ） (2023-11-13T07:12:57Z)
Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification [5.484132137132862]
我々のフレームワークであるRaLPは、文エンコーダでラベル候補をエンコードし、入力テキスト埋め込みと最もよく似たラベルを割り当てる。 RaLPは、様々なクローズドセット分類とマルチチョイスQAデータセットに基づいて、はるかに大きなベースラインよりも、競争力や強いパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-12-20T16:18:03Z)
Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
論文参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。