論文の概要: LongHarness Bench: Stress-Testing Language Model Harnesses for Long-Context Reasoning

• arxiv url: http://arxiv.org/abs/2609.38137v1
• Date: Tue, 29 Sep 2026 17:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.816959
• Title: LongHarness Bench: Stress-Testing Language Model Harnesses for Long-Context Reasoning
• Title（参考訳）: LongHarness Bench:Long-Context Reasoningのためのストレステスト言語モデルHarness
• Abstract要約: 本稿では,長文ハーネスの有効性と有効性を評価するためのベンチマークを提案する。 我々は4つの最先端ハーネスを持つフロンティア言語モデルの複数のファミリーを評価する。
• 参考スコア（独自算出の注目度）: 18.588114678658876
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model (LM) harnesses enable LMs to operate effectively over long contexts using additional compute. However, existing long-context evaluations are insufficient for distinguishing modern harnesses, reflected by saturated accuracy across harnesses and largely similar evaluation costs. In this paper, we introduce a benchmark for evaluating both the effectiveness and efficiency of long-context harnesses. Our tasks require diverse retrieval strategies, including lexical search and semantic matching, together with strategic and adaptive reasoning over global and local context. Much of the context is semantically relevant but only a small subset is useful at each step, creating both a challenging search problem and different accuracy--cost tradeoffs across processing strategies. For example, one task requires identifying every person satisfying several conditions using evidence scattered across documents; strategically checking the most selective condition first can narrow the search before verifying the remaining conditions. We evaluate multiple families of frontier language models with four state-of-the-art harnesses. Our benchmarks remain challenging even for strong model--harness combinations: the best reaches 68\% macro-average accuracy across four evaluation suites. More importantly, we find that the same underlying model can exhibit markedly different efficiency under different harnesses. Our results establish efficiency as an important axis for long-context evaluation and provide a testbed for developing harnesses that process context strategically rather than exhaustively.
• Abstract（参考訳）: 言語モデル(LM)ハーネスにより、LMは、追加の計算を用いて、長いコンテキストで効果的に操作できる。 しかし、既存の長期文脈評価は、現在のハーネスを区別するには不十分であり、ハーネス間の飽和精度とほぼ同様の評価コストによって反映される。 本稿では,長文ハーネスの有効性と有効性を評価するためのベンチマークを提案する。 我々のタスクは、語彙検索や意味マッチングを含む多様な検索戦略と、グローバルな文脈とローカルな文脈に対する戦略的かつ適応的な推論を必要とする。 コンテキストの多くは意味論的に関連があるが、各ステップで役に立つのは小さなサブセットのみであり、挑戦的な検索問題と異なる精度で処理戦略間のトレードオフを生み出す。 例えば、あるタスクでは、文書に散在する証拠を用いて、複数の条件を満たすすべての人物を特定する必要がある。 我々は4つの最先端ハーネスを持つフロンティア言語モデルの複数のファミリーを評価する。 我々のベンチマークは、強力なモデル-ハーネスの組み合わせでさえも挑戦的であり、最高は4つの評価スイートで68%のマクロ平均精度に達する。 さらに重要なことは、同じ基礎となるモデルが、異なるハーネスの下で著しく異なる効率を示すことができるということです。 本研究は, 長期コンテキスト評価のための重要な軸として効率性を確立し, 抜本的にではなく, 戦略的に処理するハーネスを開発するためのテストベッドを提供する。

関連論文リスト

• Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench [6.490490294075993]
  大規模言語モデル評価のためのベンチマークとしてPredicateLongBenchを提案する。 それは、与えられた述語/制約を満たす長い入力において、最も長い連続した単語列を特定するようモデルに求める。 私たちは、フロンティアモデルが、軸に沿ったタスクの難しさをスケールアップする上で、パフォーマンスに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2026-07-09T09:28:06Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• An Empirical Comparison of Text Summarization: A Multi-Dimensional Evaluation of Large Language Models [2.1945750784330067]
  本研究は17大言語モデル(OpenAI, Google, Anthropic, オープンソース)の要約性能を評価する。 事実整合性、意味的類似性、語彙重なり、人間に似た品質の指標を用いて、7つの多様なデータセットのモデルを評価した。
  論文  参考訳（メタデータ） (2025-04-06T16:24:22Z)
• HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly [34.205934899868346]
  HELMETは7つの多様なアプリケーション中心のカテゴリを包含する総合ベンチマークである。 NIAHのような合成タスクは、下流のパフォーマンスを確実に予測できない。 ほとんどのLCLMは完全なNIAHスコアを達成しているが、タスクが完全コンテキスト推論を必要とする場合、オープンソースモデルはクローズドなスコアよりも大幅に遅れている。
  論文  参考訳（メタデータ） (2024-10-03T17:20:11Z)
• A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
  広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。 長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。 我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
  論文  参考訳（メタデータ） (2024-09-18T17:53:17Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。