論文の概要: LongSocialBench: Do Long-Context LLMs Understand Online Discussion Threads?
- arxiv url: http://arxiv.org/abs/2610.04118v1
- Date: Fri, 02 Oct 2026 22:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 20:06:58.165415
- Title: LongSocialBench: Do Long-Context LLMs Understand Online Discussion Threads?
- Title（参考訳）: LongSocialBench:Long-Context LLMはオンラインディスカッションスレッドを理解するか?
- Abstract要約: 長いコンテキストのLLMは、オンラインの議論スレッド全体を取り込みますが、彼らの社会的言説を理解するには、長いドキュメントを読むこと以上のものが必要です。
この構造を意識した社会的推論をテストするために,LongSocialBenchを紹介した。
18モデルと29の評価設定で、現在のロングコンテキストは人間のパフォーマンスよりはるかに劣っている。
- 参考スコア（独自算出の注目度）: 20.893163811153894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context LLMs can now ingest entire online discussion threads, but understanding their social discourse requires more than reading a long document: models must track parent-reply relations, turning points, scoped subtrees, cross-branch contrasts, and participant trajectories. To test this structure-aware social reasoning, we introduce LongSocialBench, a benchmark of 1,462 verified human-authored multiple-choice items drawn from 94 complete Hacker News, Stack Exchange, and Reddit r/ChangeMyView episodes, with a median length of approximately 73K tokens. Each item pairs a complete serialized discussion and reply structure with a four-option question, requiring models to recover structured social evidence. Released items are verified for answerability, option uniqueness, and evidence grounding. Across 18 models and 29 evaluation settings, current long-context workflows remain far below human performance. The best individual result comes from Claude-Opus-4.7, which reaches 63.0% when prompted to eliminate incorrect options before answering, compared with 72.4% for independent human readers. Averaged across all 18 models, the full-context Baseline scores 43.9%. Supplying the gold evidence scope raises this to 55.0%, showing that substantial errors remain even after the relevant thread region is identified. LongSocialBench shows that the missing capability is not context access or prompting alone, but social understanding over structured reply trees.
- Abstract（参考訳）: 長いコンテキストのLLMは、オンラインの議論スレッド全体を取り込みますが、彼らの社会的言説を理解するには、長いドキュメントを読むこと以上のものが必要です。
この構造を意識した社会的推論をテストするために、LongSocialBenchを紹介します。これは、94の完全なHacker News、Stack Exchange、Reddit r/ChangeMyViewのエピソードから抽出された1,462の認証された複数の選択項目のベンチマークで、中央値は73Kトークンです。
各項目は、完全なシリアライズされた議論と回答の構造を4つのオプションの質問と組み合わせ、構造化された社会的証拠を復元するモデルを必要とする。
リリース項目は、回答可能性、オプションの独自性、証拠の根拠として検証される。
18モデルと29の評価設定で、現在の長期コンテキストワークフローは人間のパフォーマンスよりはるかに低いままだ。
クロード=オプス-4.7は、答える前に誤った選択肢を排除するよう促されたときに63.0%に達する。
全18モデルの平均で、全文ベースラインのスコアは43.9%である。
金のエビデンス範囲の供給により55.0%に上昇し、関連するスレッド領域が特定された後もかなりのエラーが残ることを示す。
LongSocialBenchは、不足している機能はコンテキストアクセスやプロンプトではなく、構造化された応答ツリーに対する社会的理解であることを示している。
関連論文リスト
- The Prompt Is Not the Query: How Request State Evolves Across Multi-Turn AI Conversations [0.0]
を観測可能な構成、会話条件の要求状態に置き換え、その状態がユーザターン間でどのように分散されているかを測定します。
この分析は、前回の会話研究の凍結ルールと統制されたコホートを再利用する。
論文 参考訳（メタデータ） (2026-07-24T15:16:26Z) - ControBench: An Interaction-Aware Benchmark for Controversial Discourse Analysis on Social Networks [17.87131765035957]
ControBenchは議論の余地のある談話分析のベンチマークである。
RedditのTrump、中絶、宗教に関する議論から生まれたものだ。
我々はControBench上で,グラフニューラルネットワーク,事前学習言語モデル,および大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2026-05-01T08:39:26Z) - Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - Form Without Function: Agent Social Behavior in the Moltbook Network [4.355694854079979]
Moltbookは、すべての参加者がAIエージェントであるソーシャルネットワークである。
我々は5400のコミュニティで1,312,238の投稿、6.7万のコメント、12万以上のエージェントプロファイルを分析している。
論文 参考訳（メタデータ） (2026-03-17T11:54:25Z) - HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - NoLiMa: Long-Context Evaluation Beyond Literal Matching [100.00398424275501]
NoLiMaは、NIAHテストを拡張したベンチマークである。
干し草の山の中に針を見つけるためには、潜伏関係を推測するモデルが必要である。
我々は、少なくとも128Kトークンのコンテキストをサポートすると主張する13の人気のある大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2025-02-07T18:49:46Z) - LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks [74.96182906307654]
本稿では,LongBench v2を提案する。LongBench v2は,LLMが長期コンテキスト問題に対処する能力を評価するためのベンチマークである。
LongBench v2は、503の挑戦的な複数選択の質問で構成され、コンテキストは8kから200M語で、6つの主要なタスクカテゴリにまたがる。
我々は、品質と難易度を維持するために、自動レビュープロセスと手動レビュープロセスの両方を使用し、その結果15分間の制約の下で、人間の専門家は53.7%の精度しか達成できなかった。
論文 参考訳（メタデータ） (2024-12-19T18:59:17Z) - Training With "Paraphrasing the Original Text" Improves Long-Context Performance [19.48556587305737]
大きな言語モデル(LLM)は進化を続けており、長いコンテキスト入力を扱うように設計されている。
本研究では,LLMの学習能力を高めることを目的とした長文タスクのための学習データ設計手法を提案する。
LlamaおよびQwenのモデルを用いたLongBenchおよびNaturalQuestions Multi-document-QAデータセットの実験により,平均スコアが最大8.48%,4.48%向上した。
論文 参考訳（メタデータ） (2023-12-18T13:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。