論文の概要: Evaluating Whether LLMs Can Reliably Connect the DOTs?

• arxiv url: http://arxiv.org/abs/2609.38406v1
• Date: Tue, 29 Sep 2026 19:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.621354
• Title: Evaluating Whether LLMs Can Reliably Connect the DOTs?
• Title（参考訳）: LLMがDOTを確実に接続できるかを評価する
• Abstract要約: 本研究では,4つの物語タイプにまたがる1～3つの文をマスキングして構築した,物語入力のための9.2Kインスタンスのベンチマークを紹介する。 その結果, モデルスケールは, 浸透品質を確実に予測できないことがわかった。 短い物語とドメインの特徴は、補充位置単独よりもタスクの難易度を予測する強力な指標として現れる。
• 参考スコア（独自算出の注目度）: 4.307648859471192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Access to real-world information is often noisy and fragmented. Constructing a coherent narrative from such fragments requires models to reconstruct missing spans within a broader storyline, commonly referred to as text infilling, while preserving consistency with both the local context and the global storyline. Despite using text infilling as a pre-training objective in many Large Language Models (LLMs), their actual performance on real-world narrative infilling remains underexplored. In this paper, we address this gap by introducing a multi-domain benchmark of ~9.2K instances for narrative infilling, constructed by masking one to three sentences across four narrative types: encyclopedic text, commonsense stories, news articles, and visual narratives. Using this benchmark, we evaluate 20 instruction-tuned open-source LLMs ranging from 1.5B to 70B parameters across varying levels of instruction specificity and reasoning guidance. Outputs are assessed using standard automatic metrics and a qualitative framework covering five narrative dimensions. Results show that model scale does not reliably predict infilling quality: Gemma-2-2B achieves the highest qualitative score (4.02/5), outperforming models over ten times larger, including DeepSeek-Qwen-32B (3.77/5, 6.6%) and LLaMA-3.3-70B (3.71/5, 8.3%). We further find that explicit reasoning offers limited benefits as chain-of-thought reasoning yields only a marginal improvement (+0.6%). Additionally, short narratives and domain characteristics emerge as stronger predictors of task difficulty than infill position alone for narrative infilling in current LLMs.
• Abstract（参考訳）: 現実世界の情報へのアクセスは、しばしば騒々しく、断片化されている。 このような断片からコヒーレントな物語を構築するためには、局所的な文脈とグローバルなストーリーラインの両方との整合性を維持しながら、より広いストーリーライン(一般にテキスト・インフィルと呼ばれる)内で行方不明なスパンを再構築する必要がある。 多くのLarge Language Models (LLMs) の事前学習目的としてテキストの埋め合わせを使用しているにもかかわらず、現実の物語の埋め合わせにおける実際のパフォーマンスは未解明のままである。 本稿では,4つの物語タイプ – 百科事典テキスト,コモンセンスストーリ,ニュース記事,ビジュアル物語の1～3文をマスキングして構築した,物語記入のための約9.2Kインスタンスのマルチドメインベンチマークを導入することで,このギャップに対処する。 本ベンチマークを用いて, 1.5B から 70B のパラメータから, 命令特異性や推論指導のレベルまで, 20 個の命令調整型オープンソース LLM の評価を行った。 アウトプットは、標準的な自動メトリクスと、5つの次元をカバーする定性的なフレームワークを用いて評価される。 Gemma-2-2Bは、DeepSeek-Qwen-32B(3.77/5, 6.6%)やLLaMA-3.3-70B(3.71/5, 8.3%)を含む10倍以上の精度で、質的なスコア(4.02/5)を達成している。 さらに、明示的な推論は、連鎖推論が限界的な改善(+0.6%)しか得られないため、限定的な利益をもたらすことがわかった。 また,現状のLLMでは,単体で物語を記入するよりも,課題難易度を予測する指標として,短い物語やドメインの特徴が出現している。

関連論文リスト

• HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing [84.84959282480641]
  テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。 また、3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。
  論文  参考訳（メタデータ） (2026-04-21T04:26:39Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
  大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。 本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
  論文  参考訳（メタデータ） (2024-06-06T12:08:43Z)
• TextSquare: Scaling up Text-Centric Visual Instruction Tuning [62.878378882175284]
  大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。 われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。 さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
  論文  参考訳（メタデータ） (2024-04-19T11:38:08Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers [25.268709339109893]
  我々は,最近のLarge Language Models (LLMs) について,短いストーリーを要約する難しい課題について評価する。 私たちは著者と直接協力して、ストーリーがオンラインで共有されていないことを保証しています(従ってモデルによって見つからないのです)。 GPT-4、Claude-2.1、LLama-2-70Bを比較し、全3モデルが50%以上の要約で忠実さの誤りを犯していることを発見した。
  論文  参考訳（メタデータ） (2024-03-02T01:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。