論文の概要: Improving Argument Saliency Coverage in Small LLMs for Long Legal Opinion Summarization via Sequence-Level Distillation

• arxiv url: http://arxiv.org/abs/2608.29884v1
• Date: Sun, 30 Aug 2026 16:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.096316
• Title: Improving Argument Saliency Coverage in Small LLMs for Long Legal Opinion Summarization via Sequence-Level Distillation
• Title（参考訳）: シーケンスレベル蒸留による長期法的意見要約のための小LLMにおける調味料塩分率被覆の改善
• Abstract要約: 我々は,有能な長文教師モデルからのシーケンスレベルの蒸留が,議論サリエンシのカバレッジを改善するためのシンプルで,アノテーションのない,データ効率の戦略であることを示す。 学生のモデルサイズ全体にわたって、蒸留は、我々の法的意見設定における専門家による要約のチューニングを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 3.829729237488442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that sequence-level distillation from a capable long-context teacher model is a simple, annotation-free, and data-efficient strategy for improving argument saliency coverage in long legal opinion summarization, where small LLMs often struggle to retain the most salient argumentative content. Across student model sizes, distillation consistently surpasses tuning on expert-written summaries in our legal-opinion setting. We further demonstrate that most gains are achieved with as few as ~10 training summaries, highlighting the strong data efficiency of teacher-generated supervision. Finally, we find that summary distillation is sufficient for improvements: reasoning-chain distillation remains competitive with summary-only distillation, but provides marginal benefit when combined with summary supervision.
• Abstract（参考訳）: 長文教師モデルからのシーケンスレベルの蒸留は、長い法的意見の要約において議論の主観的カバレッジを改善するための、単純で、アノテーションのない、データ効率の戦略である。 学生のモデルサイズ全体にわたって、蒸留は、我々の法的意見設定における専門家による要約のチューニングを一貫して上回っている。 さらに,教師が生み出す指導の強いデータ効率を強調し,指導要領を10程度に抑えることで,ほとんどの成果が得られたことを実証した。 推理鎖蒸留は, 総説のみの蒸留と競合するが, 総説の監督と組み合わせれば限界的な利益をもたらす。

関連論文リスト

• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning [48.041170200238206]
  DASD-4B-Thinkingは軽量で高機能で完全なオープンソース推論モデルである。 これは、数学、科学的推論、コード生成の挑戦的なベンチマークにおいて、同等規模のオープンソースのモデル間でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:43:17Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Enhancing Abstractiveness of Summarization Models through Calibrated Distillation [30.199051061633803]
  DisCalは、情報を犠牲にすることなく抽象性のレベルを高める新しいアプローチである。 以上の結果から,DisCalは従来の抽象的な要約蒸留法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-10-20T18:43:49Z)
• Summarization is (Almost) Dead [49.360752383801305]
  我々は,大規模言語モデル(LLM)のゼロショット生成能力を評価するため,新しいデータセットを開発し,人間による評価実験を行う。 本研究は, 微調整モデルにより生成した要約や要約よりも, LLM生成要約に対する人間の評価において, 明らかな優位性を示した。
  論文  参考訳（メタデータ） (2023-09-18T08:13:01Z)
• Towards Argument-Aware Abstractive Summarization of Long Legal Opinions with Summary Reranking [6.9827388859232045]
  本稿では,論文の議論構造を考慮した,長い法的意見の抽象的要約のための簡単なアプローチを提案する。 提案手法では、引数ロール情報を用いて複数の候補要約を生成し、文書の引数構造との整合性に基づいてこれらの候補を再分類する。 我々は、長い法的意見のデータセットにアプローチの有効性を実証し、それがいくつかの強いベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-06-01T13:44:45Z)
• QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation [1.516937009186805]
  クエリの検索拡張は、LLMに価値ある追加コンテキストを提供し、理解を改善できることを示す。 提案手法では, 従来の計算量の増加に悩まされることなく, 新たな2段階蒸留方式を用いる。
  論文  参考訳（メタデータ） (2022-10-27T18:44:58Z)
• Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation [72.70058049274664]
  文献要約のための新しい枠組みであるRefereeについて紹介する(つまり、監督のために金の要約を必要としない)。 我々の研究は、シンボリック知識蒸留の概念的枠組みを通じて、参照不要で制御された文要約が実現可能であることを示す最初のものである。
  論文  参考訳（メタデータ） (2022-10-25T07:07:54Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。