論文の概要: Can Classical Semantic-Extractive Summarization Be Evaluated in Hindi? A Replication Study

• arxiv url: http://arxiv.org/abs/2609.29090v1
• Date: Thu, 24 Sep 2026 06:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.747367
• Title: Can Classical Semantic-Extractive Summarization Be Evaluated in Hindi? A Replication Study
• Title（参考訳）: 古典的意味抽出的要約はヒンディー語で評価できるか?
• Abstract要約: 我々は、Mohd, Jan and Shah (2020) の分布-意味抽出要約法を再現し、ヒンディー語に適応する。 このシステムは、XL-Sumのヒンディー部分とFIRE ILSUM 2.0ヒンディーの2つの独立したコーパスで評価されている。 公表された等重量な構成では、複製されたシステムは、両方のコーパス上の3文の鉛ベースラインよりも著しく悪化する。
• 参考スコア（独自算出の注目度）: 0.9762240816775661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We replicate the distributional-semantics extractive summarisation method of Mohd, Jan and Shah (2020) and adapt it to Hindi, substituting a Devanagari-appropriate component at every language-specific step. The system is evaluated on two independent corpora --- the Hindi portion of XL-Sum and FIRE ILSUM 2.0 Hindi --- under a Devanagari-aware ROUGE implementation validated against the XL-Sum authors' own multilingual scorer, with all comparisons drawn as 1000-resample paired bootstraps. In its published equal-weight configuration the replicated system is significantly worse than a three-sentence lead baseline on both corpora, trailing Lead-3 by 0.042 ROUGE-1 Fon XL-Sum and by 0.265 on ILSUM. A feature ablation shows that sentenceposition is the only feature that contributes: position alone reproduces the lead baseline exactly, removing position gives the weakest configuration,and a validation-tuned weighting can at best equal Lead-3 and never exceed it. TextRank fails identically, making this a class-level rather than an implementation-level result. A selection analysis shows the remaining features steer extraction towards long, entity-dense body sentences while the references reuse the article lead.Current Hindi benchmarks therefore cannot reward non-lead content selection, motivating purpose-built evaluation resources.
• Abstract（参考訳）: 我々は、Mohd, Jan and Shah (2020) の分布-意味抽出要約法を再現し、それをヒンディー語に適応させ、各言語固有のステップでデバナガリに適した成分を置換する。 このシステムは、XL-Sumのヒンディー部分とFIRE ILSUM 2.0ヒンディーの2つの独立したコーパスで評価され、XL-Sumの著者自身の多言語スコアラーに対して検証されたデバナガリを意識したROUGE実装の下で、全ての比較は1000サンプルペアブートストラップとして描画される。 公表された均等な構成では、複製されたシステムは両方のコーパス上の3文のリードベースラインよりも著しく悪化し、Lead-3は0.042 ROUGE-1 Fon XL-Sum、ILSUMは0.265である。 位置だけでリードベースラインを正確に再現し、位置を除去することで最も弱い構成が得られる。 TextRankも同様に失敗し、実装レベルの結果ではなく、クラスレベルの結果になる。 Hindiベンチマークでは,非リード型コンテンツ選択に対する報酬が得られず,目的によって構築された評価資源のモチベーションが得られない。

関連論文リスト

• Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
  我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。 3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
  論文  参考訳（メタデータ） (2026-07-30T02:34:23Z)
• One Instruction Does Not Fit All: How Well Do Embeddings Align Personas and Instructions in Low-Resource Indian Languages? [1.071318785217926]
  インドの12の言語と4つの評価課題にまたがるベンチマークを提示する。 E5-Large-Instructはモノリンガル検索で27.4%、クロスリンガル転送で20.7%のリコール@1を達成している。 分類において、LaBSEは75.3%のAUROCを獲得し、校正が強い。
  論文  参考訳（メタデータ） (2026-01-15T09:10:14Z)
• L3Cube-IndicHeadline-ID: A Dataset for Headline Identification and Semantic Evaluation in Low-Resource Indian Languages [2.584263027095689]
  L3Cube-IndicHeadline-IDは、10の低リソースIndic言語にまたがるキュレートデータセットである。 各言語には2万のニュース記事と4つの見出しの変種が含まれている。 このタスクは、記事と見出しの類似性を使ってオプションから正しい見出しを選択する必要がある。 我々は、コサイン類似性を用いて、多言語モデルや言語特化モデルを含む複数の文変換器をベンチマークする。
  論文  参考訳（メタデータ） (2025-09-02T16:54:30Z)
• Language Generation with Strictly Proper Scoring Rules [70.340673452404]
  本稿では,非局所的なスコアリングルールを用いた言語モデリングが可能な,スコアリングルールを言語生成に適用するための戦略を提案する。 対数スコアの代替として、ブライアスコアと球面スコアの2つの古典的厳密なスコアルールを用いて言語生成モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-29T09:09:00Z)
• Generating EDU Extracts for Plan-Guided Summary Re-Ranking [77.7752504102925]
  要約候補を生成して1つの要約を返す2段階のアプローチでは、標準的な単一ステップアプローチよりもROUGEスコアを改善することができる。 これらの問題に対処する再ランク付け候補を生成するための新しい手法を設計する。 広く使われている単一文書ニュース記事コーパスにおいて,以前に公表された手法よりも大きな関連性を示した。
  論文  参考訳（メタデータ） (2023-05-28T17:22:04Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• On the Usefulness of Embeddings, Clusters and Strings for Text Generator Evaluation [86.19634542434711]
  Mauveは、弦上の2つの確率分布間の情報理論のばらつきを測定する。 我々は,Mauveが誤った理由で正しいことを示し,新たに提案された分岐はハイパフォーマンスには必要ないことを示した。 テキストの構文的およびコヒーレンスレベルの特徴を符号化することで、表面的な特徴を無視しながら、文字列分布に対するクラスタベースの代替品は、単に最先端の言語ジェネレータを評価するのに良いかもしれない、と結論付けています。
  論文  参考訳（メタデータ） (2022-05-31T17:58:49Z)
• Multi-document Summarization using Semantic Role Labeling and Semantic Graph for Indonesian News Article [0.0]
  インドネシアのニュース記事にsemantic role labeling (srl) と semantic graph を用いた複数文書要約システムを提案する。 既存の要約器を改善するために, 主語, 述語, 目的語, 副詞(SVOA)抽出を用いて, 述語引数構造(PAS)抽出を行った。 また,遺伝的アルゴリズムを用いない要約器の性能が向上し,重要なpasを決定木で識別する遺伝的アルゴリズムを置き換えた。
  論文  参考訳（メタデータ） (2021-03-05T15:09:25Z)
• Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
  本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。 提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
  論文  参考訳（メタデータ） (2020-10-15T17:07:10Z)
• A New Approach for Texture based Script Identification At Block Level using Quad Tree Decomposition [38.20489458130109]
  マルチスクリプトシナリオが一般的であるインドのような国では、事前にスクリプトを特定することが義務付けられます。 公式手書き文字11文字に対する方向エネルギーとエントロピー分布の抽出におけるガボルウェーブレットフィルタの重要性を示す。
  論文  参考訳（メタデータ） (2020-09-16T02:50:03Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。