論文の概要: From Granular Revision Operations to Meaningful Revision Units: Evaluating LLMs for Revision Boundary Detection
- arxiv url: http://arxiv.org/abs/2609.33720v1
- Date: Sun, 27 Sep 2026 16:23:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:19:30.443257
- Title: From Granular Revision Operations to Meaningful Revision Units: Evaluating LLMs for Revision Boundary Detection
- Title（参考訳）: グラニュラーリビジョンから意味のあるリビジョンユニットへ:リビジョン境界検出のためのLCMの評価
- Abstract要約: 113の一致したドラフト-リビジョンペアを用いて、専門家の注釈は4,344の候補境界を得た。
LLMはタスク適応時のリビジョン境界判定を支援することができるが、汎用的なプロンプトだけでは透過的な構造を上回らない可能性がある。
- 参考スコア（独自算出の注目度）: 4.045377789870863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Revision traces provide valuable evidence about students' writing processes, but their usefulness for learning analytics depends on how individual revisions are represented. Automated draft-comparison methods often produce granular edit operations that can fragment a single purposeful revision into multiple analytic units. This study evaluates whether LLMs can identify meaningful revision unit boundaries in structured revision operation data and whether they provide value beyond simple non-LLM baselines. Using 113 matched draft--revision pairs from undergraduate writing, expert annotation yielded 4,344 candidate boundaries. We compared zero- and few-shot GPT-5.5 and base Qwen3-32B, parameter-efficient fine-tuning of Qwen3-32B, and majority and proximity-based baselines. Despite receiving revision context and task instructions, no prompted LLM condition outperformed the proximity heuristic (macro-F1 = .825). In contrast, fine-tuned Qwen3-32B using the two context representation achieved the highest macro-F1 (.859), identifying more same-unit relationships while maintaining precision comparable to the heuristic. Deterministic post-processing substantially improved the prompted models but added little benefit to the strongest fine-tuned model. These findings suggest that LLMs can support revision boundary judgment when task-adapted, but general purpose prompting alone may not outperform transparent structural heuristics.
- Abstract（参考訳）: 改訂の痕跡は、学生の筆記過程に関する貴重な証拠を提供するが、その分析の有用性は、個々の改訂がどう表現されるかによって異なる。
自動ドラフト比較法は、単一目的の修正を複数の分析単位に断片化できる粒度の編集操作を生成することが多い。
本研究では、構造化されたリビジョン演算データにおいて、LLMが意味のあるリビジョン単位境界を識別できるかどうか、および単純な非LLMベースラインを超えて価値を提供するかどうかを評価する。
113の一致したドラフト-リビジョンペアを用いて、専門家の注釈は4,344の候補境界を得た。
我々は,ゼロショットGPT-5.5とベースQwen3-32B,パラメータ効率の良いQwen3-32Bの微調整,多数および近接ベースラインを比較した。
修正コンテキストとタスク命令を受けたにもかかわらず、LLM条件は近接ヒューリスティック(macro-F1 = .825)よりも優れていた。
対照的に、2つの文脈表現を用いた微調整Qwen3-32Bは、より高いマクロF1(.859)を達成し、ヒューリスティックに匹敵する精度を維持しながら、より多くの同一ユニットの関係を識別した。
決定論的後処理は、引き起こされたモデルを大幅に改善したが、最強の微調整モデルにはほとんど恩恵を与えなかった。
これらの結果から, LLMはタスク適応時のリビジョン境界判定を支援することができると考えられるが, 汎用的なプロンプトだけでは, 透過的な構造的ヒューリスティックスを上回り得ない可能性が示唆された。
関連論文リスト
- Sphinx: Benchmarking and Modeling for LLM-Driven Pull Request Review [37.98161722413899]
プルリクエスト(PR)レビューは、ソフトウェア品質を保証する上で不可欠だが、ノイズの多い監視、限られたコンテキスト理解、不適切な評価指標のため、依然として難しい。
提案するPRレビュー用統合フレームワークであるSphinxは,(1)擬似修飾コードとマージコードを比較することによって,文脈に富んだ,意味論的根拠のあるレビューコメントを生成する構造化データ生成パイプライン,(2)実行可能な検証ポイントの構造化カバレッジに基づいてレビュー品質を評価するチェックリストに基づく評価ベンチマーク,(3)ルールベースで解釈可能な報酬を用いて,モデル動作を現実と整合させる新しいトレーニングパラダイムであるCRPOである。
論文 参考訳（メタデータ） (2026-01-06T18:49:56Z) - Chain-of-thought Reviewing and Correction for Time Series Question Answering [22.889720488678076]
本稿では,時系列質問応答の明示的な補正機構を備えた多段階推論を行うT3LLMを提案する。
このフレームワーク内では、作業者は構造化されたプロンプトの下で段階的思考連鎖(CoT)を生成し、レビュアーは推論を検査し、誤ったステップを特定し、修正的なコメントを提供する。
複数の実世界のTSQAベンチマークの実験により、T3LLMは強力なLLMベースのベースラインに対して最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-12-27T15:54:18Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
私たちはSingle-Passを紹介します。
Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。
数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。
ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
論文 参考訳（メタデータ） (2025-06-18T14:37:59Z) - Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。
また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。
以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2025-02-13T02:51:17Z) - StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。
評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。
StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
論文 参考訳（メタデータ） (2024-12-23T22:08:40Z) - IdentifyMe: A Challenging Long-Context Mention Resolution Benchmark for LLMs [22.238377215355545]
IdentifyMeは、Multiple-choice question (MCQ)形式で提示された参照解決のための新しいベンチマークである。
我々は,最先端のサブ10Bオープンモデルとクローズドモデルとの顕著な性能差を観察する。
最も高いスコア付けモデルであるGPT-4oは81.9%の精度を実現し、最先端のLCMの強力な参照能力を強調している。
論文 参考訳（メタデータ） (2024-11-12T01:05:55Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳（メタデータ） (2023-10-24T12:18:17Z) - SCREWS: A Modular Framework for Reasoning with Revisions [58.698199183147935]
我々は、リビジョンを伴う推論のためのモジュラーフレームワークであるSCREWSを紹介する。
我々は、SCREWSが、共通のフレームワークの下で、いくつかの以前のアプローチを統合することを示す。
我々は,多種多様な推論タスクに基づいて,最先端のLCMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-09-20T15:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。