論文の概要: Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?
- arxiv url: http://arxiv.org/abs/2605.29857v1
- Date: Thu, 28 May 2026 12:38:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.242149
- Title: Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?
- Title（参考訳）: Feedback-to-Rubrics: 専門家の基準をインラインコメントから学べるか?
- Authors: Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba,
- Abstract要約: 本稿では,人工物に蓄積したインラインコメントから,再利用可能な自然言語ルーブリックを学習するための問題設定を提案する。
提案手法は,これらのコメントからルーブリックを推論し,ルーブリック条件付き予測と参照コメントのコメントワイドなミスマッチを観察することにより,それらを反復的に洗練する。
- 参考スコア（独自算出の注目度）: 7.837071197834482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used for writing and review support, but their usefulness depends on context-dependent criteria, such as expert preferences or organization-specific conventions, that are often tacit, undocumented, and difficult to elicit directly. We propose a problem setting for learning reusable natural-language rubrics from accumulated inline comments on artifacts such as human-written or LLM-generated drafts. Our method infers rubrics from these comments and iteratively refines them by observing comment-wise mismatches between rubric-conditioned predictions and reference comments. We evaluate the proposed method in real-world review settings and in controlled settings with reference rubrics. These results show that inline comments can be distilled into reusable rubrics that support comment prediction, rubric understanding, and automatic artifact revision.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、記述やレビューのサポートにますます使われていますが、その有用性は、専門家の好みや組織固有の慣習など、文脈に依存した基準に依存します。
本稿では,人間の手書きやLLM生成などの人工物に蓄積したインラインコメントから,再利用可能な自然言語ルーブリックを学習するための問題設定を提案する。
提案手法は,これらのコメントからルーブリックを推論し,ルーブリック条件付き予測と参照コメントとのコメントのミスマッチを観察することにより,反復的にそれらを洗練する。
提案手法を実世界のレビュー設定と参照ルーリックを用いた制御設定で評価する。
これらの結果から, インラインコメントを再利用可能なルーリックに蒸留し, コメント予測, ルーリック理解, 自動アーティファクト修正を支援することが示唆された。
関連論文リスト
- ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - When the Gold Standard isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content [23.830040496621965]
4つのデータセットの人間翻訳ガイドラインについて検討する。
我々は、12の非標準現象と5つの翻訳行動の分類法を導出する。
我々は、作成中の明確なガイドラインと、制御可能なガイドライン対応評価フレームワークの開発を求めている。
論文 参考訳（メタデータ） (2025-12-19T16:17:23Z) - Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems [0.0]
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを使用し、スペル修正に使用される生成言語モデルと、議論的要素を識別およびマークするために訓練されたエンコーダベースのトークン分類器を用いています。
論文 参考訳（メタデータ） (2025-05-28T18:39:56Z) - Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。
その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
論文 参考訳（メタデータ） (2024-11-11T18:58:38Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - Annotation and Classification of Evidence and Reasoning Revisions in
Argumentative Writing [0.9449650062296824]
本稿では,エビデンスの使用と推論の文レベルの改訂の性質を捉えるためのアノテーションスキームを提案する。
信頼性のある手書きアノテーションが達成できることを示し,修正アノテーションはエッセイ改善の全体的評価と相関することを示す。
論文 参考訳（メタデータ） (2021-07-14T20:58:26Z) - Deep Just-In-Time Inconsistency Detection Between Comments and Source
Code [51.00904399653609]
本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。
私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。
より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
論文 参考訳（メタデータ） (2020-10-04T16:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。