論文の概要: MUDDLE: Measuring Understanding of Documents under Distractor and Length Effects

• arxiv url: http://arxiv.org/abs/2608.29477v1
• Date: Sun, 30 Aug 2026 00:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.978037
• Title: MUDDLE: Measuring Understanding of Documents under Distractor and Length Effects
• Title（参考訳）: MUDDLE:トラクタによる文書の理解と長さ効果の測定
• Abstract要約: 混乱と文脈劣化を分離する制御されたベンチマークであるMUDDLEを提案する。 MUDDLEは270の人間による注釈付き質問を使用し、それぞれが1つのソース文書に結び付けられ、5つの条件で全ての質問をインスタンス化する。 3つのモデルファミリーにまたがるLLM審査員の回答を得た。
• 参考スコア（独自算出の注目度）: 7.695084499949966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document question-answering systems increasingly answer questions over collections of retrieved documents rather than one clean source, so robustness to distracting context matters as much as reading ability. When such systems fail, it is often unclear whether the context was too long or the distractors were too close to the topic, because prior work tends to conflate these two effects. We present MUDDLE, a controlled benchmark that separates them. MUDDLE uses 270 human-annotated questions, each tied to a single source document, and instantiates every question in five conditions: the source alone, the source with two or four topically similar hard negatives, and the source with two or four random distractors. The random distractors are matched to the hard negatives in length and provenance, so an accuracy gap between the two arms reflects topical similarity rather than length. All five conditions are rendered in markdown, page images, and raw PDF, but the distractor sweep reported here is run in markdown, since a source plus its distractors exceeds current image and PDF input limits. We score answers with an LLM judge across three model families. In the complete markdown sweep, hard negatives lower accuracy more than length-matched random documents at both context sizes for gpt-5-mini, while random documents stay near the no-distractor baseline. The effect is small but directionally consistent, and for gpt-5-mini hard negatives significantly underperform length-matched random distractors when pooled across context sizes. We release the data and evaluation code for a reproducible study of context degradation.
• Abstract（参考訳）: 文書問合せシステムは、検索した文書のコレクションに対して、1つのクリーンソースではなく、問合せに回答する傾向にある。 このようなシステムが失敗した場合、事前の作業がこれらの2つの効果を詳述する傾向があるため、コンテキストが長すぎるか、イントラクタがトピックに近すぎるかは、しばしば不明である。 MUDDLEは、それらを分離する制御されたベンチマークである。 MUDDLEは270の人間による注釈付き質問を使用し、それぞれが1つのソース文書に結び付けられ、ソース単独で、ソースが2つまたは4つ、トップに類似したハードネガティブを持つソースと、2つまたは4つのランダムなイントラクタを持つソースの5つの条件で全ての質問をインスタンス化する。 ランダムな散逸器は長さと出所の硬い負と一致しているため、両腕間の精度の差は長さよりも局所的な類似性を反映している。 5つの条件はすべて、マークダウン、ページイメージ、および生のPDFで描画されるが、ここで報告されているイントラクタスイープはマークダウンで実行される。 3つのモデルファミリーにまたがるLLM審査員の回答を得た。 完全なマークダウンスイープでは、ハードネガティブは、gpt-5-miniの両コンテキストサイズにおいて、長さマッチングされたランダムドキュメントよりも精度が低く、一方、ランダムドキュメントは非トラクタベースラインの近くに留まる。 この効果は小さいが方向整合性があり、 gpt-5-mini のハード負はコンテキストサイズにまたがってプールされた場合、長さにマッチしたランダムな散逸器を著しく低下させる。 我々は、文脈劣化の再現可能な研究のためのデータと評価コードをリリースする。

関連論文リスト

• Split the Labor: Separating Evidence Interpretation from Decision Aggregation [0.0]
  言語モデルに多くの情報源から結論に達するよう要求するシステムは通常、それらを1つのプロンプトに分割する。 提案する4分野のエビデンス(仮説,信頼性バケット,合理性,証明)は,両半減期を決定することを示す。 この修正はアーキテクチャよりも算術的であり、言語モデル以外のルールのクラスに適用される。
  論文  参考訳（メタデータ） (2026-08-14T17:24:55Z)
• Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks [0.0]
  検索強化およびメモリ拡張言語モデルに関する文献における標準的な主張は、関連する情報が保存されている場合、より短いコンテキストの方が優れているということである。 この主張は、4つのコンテキスト保持率で2つの長いコンテキストベンチマークのすべてのサンプルを実行することで検証する。
  論文  参考訳（メタデータ） (2026-08-04T08:08:04Z)
• Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics [25.374192139098284]
  マルチモーダル評価において,システム障害モードとしての原形質バイアスについて検討する。 我々は、動物、オブジェクト、デモグラフィー画像にまたがる対照ベンチマークProtoBiasを導入する。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されているメトリクスが,これらのペアを誤用していることが判明した。 本稿では, 故障率を大幅に低減し, 誤判定を抑える, 頑健な7BパラメータであるProtoScoreを提案する。
  論文  参考訳（メタデータ） (2026-01-08T13:49:14Z)
• Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Literal Extraction, Logical Inference, and Hallucination Risks in Long-Context LLMs [0.0]
  大きな言語モデル(LLM)は、非常に長い入力コンテキストをサポートするようになった。 どのようにして情報を抽出し、大規模に推測するかは、まだ不明である。 我々は, 事実配置, コーパスレベルの事実分布, そして, モデル行動にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2026-01-05T11:30:56Z)
• The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
  埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。 本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
  論文  参考訳（メタデータ） (2025-07-01T23:17:12Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• ContraDoc: Understanding Self-Contradictions in Documents with Large Language Models [7.428236410246183]
  われわれはContraDocを紹介した。ContraDocは、複数のドメインにまたがる長いドキュメントにおける自己コントラクションを研究する最初の人間アノテーション付きデータセットである。 我々は,このデータセット上でGPT3.5, GPT4, PaLM2, LLaMAv2の4つの最先端オープンソースおよび商用LLMの現在の機能を分析する。 GPT4はこのタスクで最高のパフォーマンスを発揮し、人間より優れていますが、信頼できないことや、よりニュアンスとコンテキストを必要とする自己矛盾に苦労していることが分かりました。
  論文  参考訳（メタデータ） (2023-11-15T18:23:17Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Corpora Evaluation and System Bias Detection in Multi-document Summarization [25.131744693121508]
  MDS(Multi-document summarization)は、文書の集合から簡潔なテキスト段落にキーポイントを反映するタスクである。 タスクの標準的な定義がないため、さまざまなレベルの重複と、参加するドキュメント間のコンフリクトを持つデータセットに遭遇する。 新しいシステムは、選択したデータセットのセットについて結果を報告し、他のデータセットのパフォーマンスと相関しないかもしれない。
  論文  参考訳（メタデータ） (2020-10-05T05:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。