論文の概要: Load-Bearing Context: The Question Damage Score for Evaluating Context Reliance in Linguistic Reasoning

• arxiv url: http://arxiv.org/abs/2608.27756v1
• Date: Thu, 27 Aug 2026 22:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.159483
• Title: Load-Bearing Context: The Question Damage Score for Evaluating Context Reliance in Linguistic Reasoning
• Title（参考訳）: 重み付き文脈:言語推論における文脈信頼度評価のための質問応答スコア
• Abstract要約: 自己完結型言語オリンピアードパズルは、専門家が設計した文脈の例から全ての答えが導かれる制御された設定を提供する。 これを利用して、個々のコンテキストの例を分析するための診断フレームワークを導入します。 53UK言語オリンピアードパズルを用いて、一つの文脈例を削除して2つの修正された変種を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Determining whether large language models derive answers from context or prior knowledge remains a fundamental challenge. Self-contained linguistic olympiad puzzles provide a controlled setting where all answers derive solely from expert-designed context examples without external knowledge. Removing individual context examples can eliminate information needed for specific questions while leaving the rest of the puzzle unchanged. We leverage this to introduce a diagnostic framework for analyzing individual context examples. Using 53 UK Linguistics Olympiad puzzles, we generate two modified variants by deleting a single context example: (1) uniform random deletion, and (2) targeted deletion (inspired by error-correcting codes) to remove a structurally load-bearing example uniquely carrying necessary information. We formalize this impact using a Question Damage Score to classify puzzles as fragile or robust. Evaluating three frontier LLMs under instructions to abstain when information is insufficient, we find they rarely abstain, often continuing to produce correct answers after load-bearing context is removed. These findings motivate further investigation into context-based reasoning, prior knowledge, memorization, and linguistic inference. Beyond abstention, the framework enables fine-grained analyses of context reliance, including causal interventions, stopping-set analysis, targeted contamination studies, and mechanistic interpretability.
• Abstract（参考訳）: 大きな言語モデルが文脈や事前知識から答えを得るかどうかを決定することは、依然として根本的な課題である。 自己完結型言語オリンピアードパズルは、すべての答えが外部知識のない専門家が設計した文脈例からのみ導かれる制御された設定を提供する。 個々のコンテキストの例を削除すれば、パズルの残りをそのまま残しながら、特定の質問に必要な情報を排除できる。 これを利用して、個々のコンテキストの例を分析するための診断フレームワークを導入します。 53の英言語オリンピアードパズルを用いて,(1)一様ランダム削除,(2)標的削除(誤り訂正符号に着想を得た)の2つの変種を削除し,構造的に負荷のある例を取り除き,必要な情報を一意に伝達する。 質問被害スコアを用いて、この影響を定式化し、パズルを脆弱または堅牢と分類する。 3つのフロンティアLSMを情報不足時に停止させる命令で評価すると,ロード・ベアリング・コンテキストを削除した後も正しい回答を導出し続けることが稀である。 これらの知見は、文脈に基づく推論、事前知識、記憶、言語推論に関するさらなる研究を動機付けている。 棄権の他に、このフレームワークは、因果的介入、停止セット分析、標的汚染研究、機械論的解釈可能性など、文脈依存のきめ細かい分析を可能にする。

関連論文リスト

• Causally Evaluating the Learnability of Formal Language Tasks [59.73001113068827]
  データ周波数と学習可能性の関係を精査する。 特定のサブタスクの学習可能性を測定するために、Kullback-Leibler分散メトリクスを導出する。 実験の結果,因果介入を伴わない学習性の評価は誤結論につながることがわかった。
  論文  参考訳（メタデータ） (2026-06-08T17:58:36Z)
• Learning the Cue or Learning the Word? Analyzing Generalization in Metaphor Detection for Verbs [54.86138668387175]
  我々は、多くの最先端システムの共有バックボーンであるRoBERTaを用いてメタファ検出を解析し、英語の動詞に着目した。 本稿では,選択された目標レムマのすべてのインスタンスを微調整から厳格に除外する,制御された語彙ホールドアウト設定を導入し,これらのヘルドアウトレムマの露光レムマに対する予測を比較した。 モデルはExpposed lemmasで最高のパフォーマンスを発揮するが、Held-out lemmasでは堅牢なパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-04-15T10:48:09Z)
• Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks [8.210112631285666]
  大規模言語モデル(LLM)は、形式的な言語タスクにおいて強力なパフォーマンスを示している。 正規言語を用いた決定論的有限オートマトン (DFA) 構築のためのベンチマークを導入する。 モデルが実際の質問に対して完璧に精度を達成し、タスクに対して84-90%を達成できることを示すが、その精度は目に見えない問題に対して急激に低下する。
  論文  参考訳（メタデータ） (2026-01-19T21:00:31Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Attacking Misinformation Detection Using Adversarial Examples Generated by Language Models [1.8759938228229573]
  テキスト分類アルゴリズムのロバスト性をテストするために,逆例を生成するという課題について検討する。 我々は、攻撃者が試すことができるクエリ数に現実的な制限を設定することで、コンテンツモデレーションのシミュレーションに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-28T11:46:30Z)
• InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
  本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
  論文  参考訳（メタデータ） (2024-01-29T19:00:01Z)
• Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion [57.43781399856913]
  この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。 我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。 完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
  論文  参考訳（メタデータ） (2022-10-12T03:53:12Z)
• A Linguistic Analysis of Visually Grounded Dialogues Based on Spatial Expressions [35.24301299033675]
  本稿では,視覚的対話における言語理解の微粒化を調査するための枠組みを提案する。 われわれはOneCommon Corpus citepudgawa 2019natural,udgawa 2020annotatedに注目する。 我々は,それらの言語構造をテクスト空間表現に基づいて分析し,600の対話に対して包括的で信頼性の高いアノテーションを提供する。
  論文  参考訳（メタデータ） (2020-10-07T02:50:38Z)
• On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering [120.64104995052189]
  本稿では,2つの言語で表現された質問を含む,この問題に対処するための一歩を踏み出したデータセットを提案する。 推論を測定することは、偶然に正しい答えを罰することによって、直接一般化を促進する。 データセットはVQA問題のシーンテキストバージョンを反映しており、推論評価は参照表現課題のテキストベースのバージョンと見なすことができる。
  論文  参考訳（メタデータ） (2020-02-24T13:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。