論文の概要: SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs

• arxiv url: http://arxiv.org/abs/2604.04947v1
• Date: Mon, 30 Mar 2026 12:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.350949
• Title: SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs
• Title（参考訳）: SUMMIR: LLMからスポーツインサイトをランク付けするための幻覚認識フレームワーク
• Abstract要約: 本稿では,試合前後に発行された記事から,ゲーム前やポストゲーム後の意味のある洞察を自動的に抽出する作業について述べる。 我々は、クリケット、サッカー、バスケットボール、野球の4つの主要なスポーツの800試合をカバーする7900のニュース記事のデータセットをキュレートする。 本研究は, 高品質で関連性の高い洞察を生み出す上でのこのアプローチの有効性を実証するとともに, LLM間での現実的一貫性と面白さの有意な差異を明らかにした。
• 参考スコア（独自算出の注目度）: 15.398772820579204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid proliferation of online sports journalism, extracting meaningful pre-game and post-game insights from articles is essential for enhancing user engagement and comprehension. In this paper, we address the task of automatically extracting such insights from articles published before and after matches. We curate a dataset of 7,900 news articles covering 800 matches across four major sports: Cricket, Soccer, Basketball, and Baseball. To ensure contextual relevance, we employ a two-step validation pipeline leveraging both open-source and proprietary large language models (LLMs). We then utilize multiple state-of-the-art LLMs (GPT-4o, Qwen2.5-72B-Instruct, Llama-3.3-70B-Instruct, and Mixtral-8x7B-Instruct-v0.1) to generate comprehensive insights. The factual accuracy of these outputs is rigorously assessed using a FactScore-based methodology, complemented by hallucination detection via the SummaC (Summary Consistency) framework with GPT-4o. Finally, we propose SUMMIR (Sentence Unified Multimetric Model for Importance Ranking), a novel architecture designed to rank insights based on user-specific interests. Our results demonstrate the effectiveness of this approach in generating high-quality, relevant insights, while also revealing significant differences in factual consistency and interestingness across LLMs. This work contributes a robust framework for automated, reliable insight generation from sports news content. The source code is availble here https://github.com/nitish-iitp/SUMMIR.
• Abstract（参考訳）: オンラインスポーツジャーナリズムの急速な普及に伴い、ユーザエンゲージメントと理解を高めるためには、記事からゲーム前やポストゲーム後の意味のある洞察を抽出することが不可欠である。 本稿では,試合前後の論文からこのような知見を自動的に抽出する作業について述べる。 我々は、クリケット、サッカー、バスケットボール、野球の4つの主要なスポーツの800試合をカバーする7900のニュース記事のデータセットをキュレートする。 文脈関連性を確保するために,オープンソースとプロプライエタリな大規模言語モデル(LLM)の両方を活用する2段階の検証パイプラインを採用している。 次に、複数の最先端LCM(GPT-4o、Qwen2.5-72B-Instruct、Llama-3.3-70B-Instruct、Mixtral-8x7B-Instruct-v0.1)を用いて総合的な洞察を生成する。 GPT-4oによるSummaC(Summary Consistency)フレームワークによる幻覚検出を補完するFactScoreベースの手法を用いて,これらの出力の事実的精度を厳格に評価する。 最後に,SMMIR(Sentence Unified Multimetric Model for Importance Ranking)を提案する。 本研究は, 高品質で関連性の高い洞察を生み出す上でのこのアプローチの有効性を実証するとともに, LLM間での現実的一貫性と面白さの有意な差異を明らかにした。 この研究は、スポーツニュースコンテンツから自動化された信頼性の高い洞察生成のための堅牢なフレームワークに寄与する。 ソースコードは、https://github.com/nitish-iitp/SUMMIR.comで利用可能である。

関連論文リスト

• Learning to Present: Inverse Specification Rewards for Agentic Slide Generation [15.152850806890065]
  本研究は,LLMエージェントがトピックの研究,コンテントの計画,ツール使用によるHTMLスライドのプロフェッショナルなプレゼンテーション生成を学習する,OpenEnv互換の強化学習環境を提案する。 本稿では, 構造検証, レンダリング品質評価, LLMに基づく美的評価, コンテンツ品質指標, および, 意図した目的をいかに忠実に生成するかを計測する逆仕様報酬を組み合わせた多成分報酬システムを提案する。 6つのモデルにまたがる48種類のビジネスブリーフの実験では、細調整された7Bモデルはクロードオプス4.6の品質の91.2%を達成し、ベースモデルよりも33.1%改善した。
  論文  参考訳（メタデータ） (2026-03-17T17:45:53Z)
• Let's Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper [64.50822834679101]
  SciIGは、タイトル、抽象、および関連する作品からコヒーレントな紹介を生成するLLMの能力を評価するタスクである。 オープンソース (DeepSeek-v3, Gemma-3-12B, LLaMA 4-Maverick, MistralAI Small 3.1) およびクローズドソース GPT-4o システムを含む5つの最先端モデルを評価する。 結果は、特に意味的類似性と忠実性において、ほとんどのメトリクスにおいて、LLaMA-4 Maverickの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-19T21:11:11Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• DIAMOND: An LLM-Driven Agent for Context-Aware Baseball Highlight Summarization [9.67464173044675]
  本稿では,コンテキスト認識型野球ハイライト要約エージェントであるDIAMONDを紹介する。 構造化スポーツ分析と自然言語推論を用いて、プレイの重要性を定量化する。 結果から,イベントレベルの要約のためのモジュール型,解釈可能なエージェントベースのフレームワークの可能性を強調した。
  論文  参考訳（メタデータ） (2025-06-03T01:10:20Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• SPORTU: A Comprehensive Sports Understanding Benchmark for Multimodal Large Language Models [15.062299319625701]
  SPORTUはマルチレベルスポーツ推論タスク間でMLLM(Multimodal Large Language Models)を評価するために設計されたベンチマークである。 SPORTUは2つの重要なコンポーネントで構成されている。 SPORTU-textは900の多重選択質問と、ルール理解と戦略理解のための人間アノテーションによる説明を含む。 SPORTUビデオは、7つの異なるスポーツで1,701本のスローモーションビデオクリップと12,048本のQAペアで構成され、マルチレベル推論を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-10-11T02:58:38Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
  我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。 実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。 我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T18:14:35Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。