論文の概要: Context Dependence and Reliability in Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2602.01378v1
• Date: Sun, 01 Feb 2026 18:25:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.756372
• Title: Context Dependence and Reliability in Autoregressive Language Models
• Title（参考訳）: 自己回帰型言語モデルにおける文脈依存性と信頼性
• Authors: Poushali Sengupta, Shashi Raj Pandey, Sabita Maharjan, Frank Eliassen,
• Abstract要約: クリティカルなアプリケーションでは、どのコンテキスト要素が実際に出力に影響を与えるかを特定することが不可欠である。 この研究は、重要なコンテキスト要素と関連する要素を区別するという課題に対処する。 本稿では,他者に対する入力の独特な影響を定量化し,冗長性の影響を最小限に抑える手法RISEを紹介する。
• 参考スコア（独自算出の注目度）: 4.9988239650406765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) generate outputs by utilizing extensive context, which often includes redundant information from prompts, retrieved passages, and interaction history. In critical applications, it is vital to identify which context elements actually influence the output, as standard explanation methods struggle with redundancy and overlapping context. Minor changes in input can lead to unpredictable shifts in attribution scores, undermining interpretability and raising concerns about risks like prompt injection. This work addresses the challenge of distinguishing essential context elements from correlated ones. We introduce RISE (Redundancy-Insensitive Scoring of Explanation), a method that quantifies the unique influence of each input relative to others, minimizing the impact of redundancies and providing clearer, stable attributions. Experiments demonstrate that RISE offers more robust explanations than traditional methods, emphasizing the importance of conditional information for trustworthy LLM explanations and monitoring.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プロンプト、検索されたパス、インタラクション履歴からの冗長な情報を含む広範囲なコンテキストを利用して出力を生成する。 批判的なアプリケーションでは、標準的な説明手法が冗長性と重複するコンテキストに苦労するため、どのコンテキスト要素が実際に出力に影響を与えるかを特定することが不可欠である。 入力の微妙な変化は、属性スコアの予測不可能なシフトを引き起こし、解釈可能性を損なうとともに、インジェクションのようなリスクに対する懸念を引き起こす。 この研究は、重要なコンテキスト要素と関連する要素を区別するという課題に対処する。 RISE(Redundancy-Insensitive Scoring of Explanation)は,他者に対する入力の独特な影響を定量化し,冗長性の影響を最小限に抑え,より明確で安定した属性を提供する手法である。 実験により、RISEは従来の手法よりも堅牢な説明を提供しており、信頼できるLCMの説明とモニタリングのための条件情報の重要性を強調している。

関連論文リスト

• Learning to Extract Context for Context-Aware LLM Inference [60.376872353918394]
  大型言語モデル(LLM)へのユーザープロンプトは曖昧か不明確であることが多い。 ユーザの意図、事前知識、リスク要因によって形成されるコンテキスト的手がかりは、適切な応答を構成するものに影響を与える。 本稿では,ユーザプロンプト自体からコンテキスト情報を抽出し,活用するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-12T19:10:08Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion [41.79586757544166]
  大規模言語モデル(LLM)は、少数ショット情報抽出(IE)において顕著な可能性を示す 従来の選択戦略は、しばしば、モデル誤認の重要な原因を見落としているため、情報的なガイダンスの提供に失敗する。 本稿では,イントロスペクティブ・混乱(introspective confusion)という原則に導かれる新しいアクティブ・プロンプト・フレームワークであるActive Prompting for Information extract(APIE)を紹介する。
  論文  参考訳（メタデータ） (2025-08-10T02:27:41Z)
• Hierarchical Interaction Summarization and Contrastive Prompting for Explainable Recommendations [9.082885521130617]
  本稿では、階層的相互作用要約(PGHIS)によるプロファイル生成と、説明生成(CPEG)のための対照的なプロンプトを組み合わせた新しいアプローチを提案する。 提案手法は既存の最先端手法よりも優れており,説明可能性(GPTScoreの5%など)とテキスト品質に関する指標の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-07-08T14:45:47Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• An Effective Deployment of Diffusion LM for Data Augmentation in Low-Resource Sentiment Classification [2.0930389307057427]
  感性分類(SC)は、ドメイン固有のコンテキスト、不均衡なラベル分布、少数ショットシナリオなど、低リソースの課題に悩まされることが多い。 我々はDiffusion LMを提案し、強力なラベル関連トークンを再構成することでドメイン内の知識を捕捉し、擬似サンプルを生成する。
  論文  参考訳（メタデータ） (2024-09-05T02:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。