論文の概要: The Sum of All Summaries: PROPALIGN for Graded Proposition Salience Evaluation

• arxiv url: http://arxiv.org/abs/2610.19387v1
• Date: Wed, 14 Oct 2026 01:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.885697
• Title: The Sum of All Summaries: PROPALIGN for Graded Proposition Salience Evaluation
• Title（参考訳）: 全サプリメントの総和: Proposition Salience Evaluation のための ProPALIGN
• Abstract要約: 本稿では,提案するサリエンススコア推定手法であるProPALIGNを提案する。 ProPALIGNBANKは,35K以上の命題を128Kのアライメントでアライメントする手法のデータセットである。
• 参考スコア（独自算出の注目度）: 7.221034553903418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identification and ranking of salient propositions in documents is indirectly involved in many AI tasks, but few papers define proposition salience scores clearly, make diverse data available, or evaluate models directly on the task. This paper proposes PROPALIGN, a multiple-summary-based approach for propositional salience score estimation, and releases PROPALIGNBANK, an accompanying dataset for the method with 138K alignments of over 35K propositions. We compare several approaches to salient proposition extraction in English across a broad range of spoken and written genres, and demonstrate that naively asking models for judgments leads to inconsistencies. By contrast, graded, summary-based metrics are more stable. We further observe that while single models perform worse than humans, an ensemble of models incorporating linguistic features approaches manual annotation quality ceilings. In addition, analyses of the model outputs suggest insights into how models can extract salient information with and without the use of summaries.
• Abstract（参考訳）: 文書中の有能な命題の識別とランキングは多くのAIタスクに間接的に関与するが、提案の有能性スコアを明確に定義し、多様なデータを利用可能にしたり、タスク上でモデルを直接評価する論文はほとんどない。 本稿では,提案するサリエンススコア推定手法であるProPALIGNを提案し,提案手法に付随するデータセットであるProPALIGNBANKを35K以上の提案で138Kのアライメントでリリースする。 音声や文章の幅広いジャンルにおいて、英語における有意な命題抽出に対するいくつかのアプローチを比較し、判断のモデルに内在的な要求が矛盾をもたらすことを示す。 対照的に、グレードされた要約ベースのメトリクスはより安定している。 さらに,言語的特徴を取り入れたモデル群が手動の注釈品質天井に接近していることが観察された。 さらに、モデル出力の分析は、要約を使わずに、モデルが有能な情報を抽出する方法についての洞察を示唆している。

関連論文リスト

• Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings [32.03184402316848]
  我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。 プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
  論文  参考訳（メタデータ） (2024-03-08T14:14:37Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Fine-tuning and aligning question answering models for complex information extraction tasks [0.8392546351624164]
  質問応答(QA)や通過検索モデルのような抽出言語モデルは、クエリ結果が適切なコンテキスト文書の境界内で見つかることを保証します。 既存のドイツ語のQAモデルを微調整することで,複雑な言語的特徴の抽出タスクをカスタマイズする性能が向上することを示す。 評価基準を再現するために,Levenshtein 距離,F1-Score,Exact Match,ROUGE-L の組合せを推定した。
  論文  参考訳（メタデータ） (2023-09-26T10:02:21Z)
• You Are What You Annotate: Towards Better Models through Annotator Representations [30.61784526307009]
  我々はアノテータの様々な視点を直接モデル化しようと試みる。 埋め込みによって個々のアノテータの独特な傾向と主観性を捉えることで、私たちの表現は素AIモデルを多様な視点を包含するようにしている。
  論文  参考訳（メタデータ） (2023-05-24T03:06:13Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Selection of a representative sorting model in a preference disaggregation setting: a review of existing procedures, new proposals, and experimental comparison [4.447467536572626]
  複数の基準のソートという文脈における選好の不合理性について考察する。 間接選好に適合するソートモデルの多重性を考えると、1つの代表モデルを選択すると、異なる方法でソートを行うことができる。 本稿では,厳密な代入規則を実践する3つの新しい手順を提案する。
  論文  参考訳（メタデータ） (2022-08-30T02:01:35Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。