論文の概要: Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction

• arxiv url: http://arxiv.org/abs/2407.03651v1
• Date: Thu, 4 Jul 2024 05:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 19:02:03.822511
• Title: Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction
• Title（参考訳）: 言語モデルコンテキストの評価 Windows:「作業記憶」テストと推論時間補正
• Authors: Amanda Dsouza, Christopher Glaze, Changho Shin, Frederic Sala,
• Abstract要約: 大規模言語モデルは現実世界のアプリケーションで顕著に使われ、しばしば大量の文書を推論する。 本稿では,標準テストの限界に対処する評価フレームワークであるSWiMを提案する。 また,この効果を緩和する,単純かつ効果的なトレーニングフリーアプローチであるメドイド投票を提案する。
• 参考スコア（独自算出の注目度）: 10.428174043080622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are prominently used in real-world applications, often tasked with reasoning over large volumes of documents. An exciting development in this space is models boasting extended context capabilities, with some accommodating over 2 million tokens. Such long context model capabilities remain uncertain in production systems, motivating the need to benchmark their performance on real world use cases. We address this challenge by proposing SWiM, an evaluation framework that addresses the limitations of standard tests. Testing the framework on eight long context models, we find that even strong models such as GPT-4 and Claude 3 Opus degrade in performance when information is present in the middle of the context window (lost-in-the-middle effect). Next, in addition to our benchmark, we propose medoid voting, a simple, but effective training-free approach that helps alleviate this effect, by generating responses a few times, each time randomly permuting documents in the context, and selecting the medoid answer. We evaluate medoid voting on single document QA tasks, achieving up to a 24% lift in accuracy.
• Abstract（参考訳）: 大規模な言語モデルは現実世界のアプリケーションで顕著に使われ、しばしば大量の文書を推論する。 この分野のエキサイティングな展開は、拡張コンテキスト機能を備えたモデルで、中には200万以上のトークンを収容するものもある。 このような長期のコンテキストモデル機能は、実運用システムでは不確実なままであり、実世界のユースケースでパフォーマンスをベンチマークする必要性を動機付けている。 我々は,標準テストの限界に対処する評価フレームワークであるSWiMを提案することで,この問題に対処する。 8つの長いコンテキストモデル上でフレームワークをテストすると、GPT-4やClaude 3 Opusのような強力なモデルでさえ、コンテキストウィンドウの中央に情報が存在する場合のパフォーマンスが低下する(ロスト・イン・ザ・ミドル効果)。 次に,提案するメドイド投票(メドイド投票)は,文書をランダムに変更する度に数回応答を生成し,メドイドの回答を選択することで,この効果を緩和する,シンプルで効果的なトレーニング不要な手法である。 単一文書QAタスクにおけるメドイド投票を24%の精度で評価した。

関連論文リスト

• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• ReFeR: Improving Evaluation and Reasoning through Hierarchy of Models [12.035509884945789]
  テキストと画像の両方を含む生成出力を評価するために設計されたReFeRというチューニング不要のフレームワークを導入する。 フレームワークであるReFeRを4つの多様な評価タスクで厳格に評価します。 4つの推論タスクの実験は、フレームワークのより優れた集団推論能力を示す。
  論文  参考訳（メタデータ） (2024-07-16T08:25:26Z)
• Fennec: Fine-grained Language Model Evaluation and Correction Extended through Branching and Bridging [25.078498180620425]
  我々は, bntextbfChing および bridging を用いて, textbfFine の粒度のtextbfEvaluatiotextbfN textbfExtended を実現するためのステップバイステップ評価フレームワーク textbfFennec を提案する。 評価モデルにより誘導される微粒化補正機能を用いて、複数のモデル応答を洗練し、MT-Bench上の1-2点の改善をもたらす。
  論文  参考訳（メタデータ） (2024-05-20T16:47:22Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Fast and Accurate Factual Inconsistency Detection Over Long Documents [19.86348214462828]
  我々は,新しいチャンキング戦略を用いて,現実の不整合を検出するタスク非依存モデルであるSCALEを紹介する。 このアプローチは、様々なタスクや長い入力に対して、現実の不整合検出における最先端のパフォーマンスを実現する。 コードとデータはGitHubに公開しています。
  論文  参考訳（メタデータ） (2023-10-19T22:55:39Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Understanding the Effectiveness of Very Large Language Models on Dialog Evaluation [20.18656308749408]
  大規模言語モデル (LLM) は生成に使われており、人間のようなテキストを出力することができる。 本稿では,プロンプト中のサンプル数と使用するサンプル選択の種類がモデルの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-01-27T22:02:27Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• RethinkCWS: Is Chinese Word Segmentation a Solved Task? [81.11161697133095]
  中国語の単語(CWS)システムの性能は、ディープニューラルネットワークの急速な発展とともに、徐々に高水準に達している。 本稿では、私たちが達成した事柄の株式を取得し、CWSタスクに残されている事柄を再考する。
  論文  参考訳（メタデータ） (2020-11-13T11:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。