論文の概要: Evaluating the Sensitivity of LLMs to Prior Context

• arxiv url: http://arxiv.org/abs/2506.00069v1
• Date: Thu, 29 May 2025 16:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.184401
• Title: Evaluating the Sensitivity of LLMs to Prior Context
• Title（参考訳）: LLMの事前文脈に対する感度評価
• Authors: Robert Hankache, Kingsley Nketia Acheampong, Liang Song, Marek Brynda, Raad Khraishi, Greig A. Cowan,
• Abstract要約: 大規模言語モデル(LLM)は、多ターン対話やその他の持続的な対話シナリオにますます多くデプロイされている。 我々は,文脈変化に対する感度を測定するために,先行文脈のボリュームと性質を変化させる新しいベンチマークのセットを導入する。 その結果,複数質問に対するLLM性能は,多ターンインタラクションにおいて劇的に低下することがわかった。
• 参考スコア（独自算出の注目度）: 2.377922603550519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly deployed in multi-turn dialogue and other sustained interactive scenarios, it is essential to understand how extended context affects their performance. Popular benchmarks, focusing primarily on single-turn question answering (QA) tasks, fail to capture the effects of multi-turn exchanges. To address this gap, we introduce a novel set of benchmarks that systematically vary the volume and nature of prior context. We evaluate multiple conventional LLMs, including GPT, Claude, and Gemini, across these benchmarks to measure their sensitivity to contextual variations. Our findings reveal that LLM performance on multiple-choice questions can degrade dramatically in multi-turn interactions, with performance drops as large as 73% for certain models. Even highly capable models such as GPT-4o exhibit up to a 32% decrease in accuracy. Notably, the relative performance of larger versus smaller models is not always predictable. Moreover, the strategic placement of the task description within the context can substantially mitigate performance drops, improving the accuracy by as much as a factor of 3.5. These findings underscore the need for robust strategies to design, evaluate, and mitigate context-related sensitivity in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)はマルチターン対話やその他の持続的な対話シナリオにますます多くデプロイされているため、拡張コンテキストがパフォーマンスにどのように影響するかを理解することが不可欠である。 人気のあるベンチマークは、主にシングルターン質問応答(QA)タスクに焦点を当てており、マルチターン交換の影響を捉えていない。 このギャップに対処するために,従来の文脈の量や性質を体系的に変化させる新しいベンチマークを導入する。 GPT,Claude,Geminiなどの従来のLCMをベンチマークで評価し,文脈変動に対する感度を測定する。 その結果,複数質問に対するLLM性能は,複数ターンインタラクションにおいて劇的に低下し,特定のモデルでは最大73%の低下がみられた。 GPT-4oのような高機能モデルでさえ、精度は最大で32%低下する。 特に、大型モデルと小型モデルの相対的な性能は必ずしも予測可能であるとは限らない。 さらに、コンテキスト内のタスク記述の戦略的配置は、性能低下を著しく軽減し、3.5倍の精度で精度を向上させることができる。 これらの知見は、LLMの文脈関連感度を設計、評価、緩和するための堅牢な戦略の必要性を浮き彫りにした。

関連論文リスト

• The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs [40.35884943268004]
  非常に長いシーケンスでは、より大きくスパースなモデルの方が小さくて密度の高いモデルよりも好ましいことを示す。 タスクやフェーズをまたいでベストを尽くす明確な戦略は存在しません。 本研究は, 厳密な注意を喚起するための新しいスケーリング法を導入し, 検証し, 実験範囲を超えている可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-24T17:39:25Z)
• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
  ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。 我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2025-04-11T03:30:26Z)
• Forget What You Know about LLMs Evaluations - LLMs are Like a Chameleon [11.753349115726952]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見えるが、これらの高いスコアはデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。 セマンティックコンテンツやラベルを保存しながら入力をリフレッシュすることで、C-BODはモデルのパフォーマンスが記憶パターンによって駆動されるかどうかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• MMRel: A Relation Understanding Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、オブジェクト間の関係に関する大規模で高品質で多様なデータを特徴付けるベンチマークである。 MMRelは、関係理解に基づくMLLMの評価や、関係理解能力を高めるための微調整MLLMに最適である。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。