論文の概要: BOOKCOREF: Coreference Resolution at Book Scale
- arxiv url: http://arxiv.org/abs/2507.12075v1
- Date: Wed, 16 Jul 2025 09:35:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.336805
- Title: BOOKCOREF: Coreference Resolution at Book Scale
- Title(参考訳): BOOKCOREF:ブックスケールでのコアレゾリューション
- Authors: Giuliano Martinelli, Tommaso Bonomo, Pere-Lluís Huguet Cabot, Roberto Navigli,
- Abstract要約: BOOKCOREFという,約20万トークンを超える平均文書長を持つブックスケールコアベンチマークを作成した。
この前代未聞の書籍スケール設定で導入された新しい課題について報告し、現在のモデルが同じパフォーマンスを達成できないことを強調した。
我々は,新たなブックスケールのCoreference Resolutionシステムの研究と開発を促進するために,データとコードを公開します。
- 参考スコア(独自算出の注目度): 44.08932883054499
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Coreference Resolution systems are typically evaluated on benchmarks containing small- to medium-scale documents. When it comes to evaluating long texts, however, existing benchmarks, such as LitBank, remain limited in length and do not adequately assess system capabilities at the book scale, i.e., when co-referring mentions span hundreds of thousands of tokens. To fill this gap, we first put forward a novel automatic pipeline that produces high-quality Coreference Resolution annotations on full narrative texts. Then, we adopt this pipeline to create the first book-scale coreference benchmark, BOOKCOREF, with an average document length of more than 200,000 tokens. We carry out a series of experiments showing the robustness of our automatic procedure and demonstrating the value of our resource, which enables current long-document coreference systems to gain up to +20 CoNLL-F1 points when evaluated on full books. Moreover, we report on the new challenges introduced by this unprecedented book-scale setting, highlighting that current models fail to deliver the same performance they achieve on smaller documents. We release our data and code to encourage research and development of new book-scale Coreference Resolution systems at https://github.com/sapienzanlp/bookcoref.
- Abstract(参考訳): 基準分解システムは、通常、小規模から中規模の文書を含むベンチマークで評価される。
しかし、長いテキストを評価する場合、LitBankのような既存のベンチマークは長さが限られており、例えば数十万のトークンを共同参照する場合に、ブックスケールでのシステム機能の評価が適切に行われない。
このギャップを埋めるために、私たちはまず、完全な物語テキストに高品質なCoreference Resolutionアノテーションを生成する新しい自動パイプラインを提案しました。
そして、このパイプラインを採用して、最初のブックスケールコアベンチマークであるBOOKCOREFを作成します。
提案手法の堅牢性を示す一連の実験と資源価値の実証を行い,本書で評価すると,現行の長期文書照合システムでは+20のCoNLL-F1点が得られた。
さらに、この前例のない書籍スケール設定によってもたらされた新たな課題について報告し、現在のモデルでは、より小さなドキュメントで達成したのと同じパフォーマンスを達成できないことを強調した。
我々はデータとコードを公開し、https://github.com/sapienzanlp/bookcoref.comで新しいブックスケールのCoreference Resolutionシステムの研究と開発を奨励します。
関連論文リスト
- SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。
既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。
我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2025-08-03T23:59:31Z) - Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。
提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。
重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
論文 参考訳(メタデータ) (2025-01-28T16:03:52Z) - Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳(メタデータ) (2024-05-31T20:15:10Z) - TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。
ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。
テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
論文 参考訳(メタデータ) (2024-03-07T13:16:24Z) - Evaluating Code Summarization Techniques: A New Metric and an Empirical
Characterization [16.127739014966487]
生成した要約の質を計測する際の様々な種類の指標の相補性について検討する。
我々は,その側面を捉えるために,コントラスト学習に基づく新しい指標を提案する。
論文 参考訳(メタデータ) (2023-12-24T13:12:39Z) - LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation [28.438103177230477]
長文要約の事実整合性を評価するための自動測度の有効性を評価する。
本稿では,文書要約データセットの評価に適した新しい評価フレームワークであるLongDocFACTScoreを提案する。
論文 参考訳(メタデータ) (2023-09-21T19:54:54Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳(メタデータ) (2023-05-19T17:33:38Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Efficient Attentions for Long Document Summarization [25.234852272297598]
Heposは、頭の位置方向のストライドを持つ、新しい効率的なエンコーダデコーダアテンションである。
十分な注意を払っている既存のモデルよりも10倍のトークンを処理できます。
論文 参考訳(メタデータ) (2021-04-05T18:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。