論文の概要: CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

• arxiv url: http://arxiv.org/abs/2602.08221v1
• Date: Mon, 09 Feb 2026 02:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.039062
• Title: CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts
• Title（参考訳）: CoRect: 知識紛争を解決するために隠れた状態整形のためのコンテキスト対応ロジットコントラスト
• Authors: Xuhua Ma, Richong Zhang, Zhijie Nie,
• Abstract要約: CoRectは、隠れたステートリクティフィケーションのためのコンテキスト対応ログコントラストである。 隠された国家を改定し、証拠に埋もれた情報を保存する。 忠実さを一貫して改善し、強いベースラインに比べて幻覚を減少させる。
• 参考スコア（独自算出の注目度）: 37.06380458862419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) often struggles with knowledge conflicts, where model-internal parametric knowledge overrides retrieved evidence, leading to unfaithful outputs. Existing approaches are often limited, relying either on superficial decoding adjustments or weight editing that necessitates ground-truth targets. Through layer-wise analysis, we attribute this failure to a parametric suppression phenomenon: specifically, in deep layers, certain FFN layers overwrite context-sensitive representations with memorized priors. To address this, we propose CoRect (Context-Aware Logit Contrast for Hidden State Rectification). By contrasting logits from contextualized and non-contextualized forward passes, CoRect identifies layers that exhibit high parametric bias without requiring ground-truth labels. It then rectifies the hidden states to preserve evidence-grounded information. Across question answering (QA) and summarization benchmarks, CoRect consistently improves faithfulness and reduces hallucinations compared to strong baselines.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) はしばしば知識紛争に苦しむが、モデル内部のパラメトリックな知識は得られた証拠を覆い、不信な出力をもたらす。 既存のアプローチはしばしば制限され、表面的な復号化調整や、地道的な目標を必要とする重み付けに依存する。 特に深層層では,特定のFFN層が先行記憶による文脈に敏感な表現を上書きしている。 そこで本研究では,CoRect(隠れ状態認識のためのコンテキスト認識ログコントラスト)を提案する。 文脈化や非文脈化のフォワードパスからのロジットを対比することにより、CoRectは、地平線ラベルを必要とせずに高いパラメトリックバイアスを示すレイヤを特定する。 その後、隠れた状態を修正し、証拠に埋もれた情報を保存する。 質問応答(QA)と要約ベンチマークを通じて、CoRectは一貫して忠実さを改善し、強いベースラインに比べて幻覚を減らす。

関連論文リスト

• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• SCOPE: Intrinsic Semantic Space Control for Mitigating Copyright Infringement in LLMs [39.14996705577274]
  SCOPEはパラメータ更新や補助フィルタを必要としない推論時間法である。 著作権に敏感なサブスペースを特定し、デコード時にそのアクティベーションを切断する。 広く知られるベンチマークの実験は、SCOPEが汎用性を低下させることなく著作権侵害を軽減していることを示している。
  論文  参考訳（メタデータ） (2025-11-10T11:53:07Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Dense Retrievers Can Fail on Simple Queries: Revealing The Granularity Dilemma of Embeddings [65.31723739561151]
  埋め込みは、エンコードされたセマンティクス内のきめ細かいエンティティやイベントを認識できないかもしれない。 本稿では,新たな評価データセットであるCapRetrievalを導入し,文節は画像キャプションであり,クエリはエンティティやイベントの概念を多種多様な形式でターゲットとするフレーズである。 我々は提案したデータ生成戦略でエンコーダを微調整し、小さな0.1Bエンコーダで最先端の7Bモデルを上回る性能を実現した。
  論文  参考訳（メタデータ） (2025-06-10T09:00:33Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• UTOPIC: Uncertainty-aware Overlap Prediction Network for Partial Point Cloud Registration [34.921141735367655]
  本稿では,不確実な重複予測問題に対処するため,UTOPICと呼ばれる新しい不確実性を考慮した重複予測ネットワークを提案する。 特徴抽出器は,補完デコーダを通じて形状知識を暗黙的に知覚し,トランスフォーマーに幾何学的関係を埋め込む。 より信頼性の高い重複スコアとより正確な密接な対応の利点により、UTOPICは安定した正確な登録結果を得ることができる。
  論文  参考訳（メタデータ） (2022-08-04T15:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。