論文の概要: Weakness Localization Is Not Enough: State-Aware Recursive Knowledge Improvement for Large Language Models
- arxiv url: http://arxiv.org/abs/2610.36811v1
- Date: Tue, 27 Oct 2026 08:12:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.243524
- Title: Weakness Localization Is Not Enough: State-Aware Recursive Knowledge Improvement for Large Language Models
- Title（参考訳）: 弱さのローカライゼーションは十分ではない - 大規模言語モデルに対するステートアウェアな再帰的知識の改善
- Abstract要約: 逐次的かつ状態認識的な介入プロセスとして再帰的知識改善(RKI)を提案する。
RKIは知識をグラフ構造単位に整理し、診断評価と標的介入の共通基盤を提供する。
HotpotEvalとSafeInternalEvalでは、RKIは既存の知識導入手法を平均18.41ポイント上回っている。
- 参考スコア（独自算出の注目度）: 10.317497104014329
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge improvement in large language models is shifting from predefined knowledge incorporation pipelines toward evaluation-guided updating. Existing methods use evaluation to localize model-specific knowledge weaknesses and guide targeted post-training. However, identifying what to improve does not necessarily provide sufficient information for deciding how to improve it. The same localized weakness can be compatible with distinct operational knowledge states: the relevant knowledge may be unavailable, available but difficult to access reliably, or accessible but ineffective for downstream use. We call this ambiguity knowledge-state aliasing. When compatible states favor different interventions, greater diagnostic resolution alone is insufficient for intervention selection. Moreover, model updates can change the underlying knowledge state before the observed weakness disappears, such that an intervention appropriate in one round may no longer address the bottleneck in the next. To address these challenges, we propose Recursive Knowledge Improvement (RKI), which formulates knowledge improvement as a sequential, state-aware intervention process. RKI organizes knowledge into graph-structured units that provide a shared basis for diagnostic evaluation and targeted intervention across rounds. At each round, RKI localizes knowledge weaknesses, estimates the model's operational knowledge state from diagnostic evidence and intervention history, selects a corresponding intervention, and re-evaluates the updated model before determining the next intervention. On HotpotEval and SafeInternalEval, RKI outperforms existing knowledge incorporation methods by 18.41 points on average. Further analyses show that knowledge states provide additional guidance for intervention selection beyond weakness localization and can change across model updates even when the observed weakness persists.
- Abstract（参考訳）: 大規模言語モデルの知識改善は、事前に定義された知識導入パイプラインから評価誘導更新へとシフトしている。
既存の手法では、モデル固有の知識の弱点をローカライズし、目標とするポストトレーニングをガイドする。
しかし、何を改善するかを特定することは、それを改善するための十分な情報を提供するとは限らない。
同じローカライズされた弱点は、異なる運用上の知識状態と互換性があり、関連する知識は利用できない、利用できるが確実にアクセスすることは困難であり、下流での使用には不有効である。
私たちはこの曖昧な知識状態のエイリアスと呼んでいる。
互換性のある国家が異なる介入を好む場合、より大きな診断解決だけでは介入選択には不十分である。
さらに、モデル更新は、観測された弱点が消える前に基礎となる知識状態を変更できる。
これらの課題に対処するため、我々は、逐次的かつ状態認識的な介入プロセスとして知識改善を定式化するRecursive Knowledge Improvement (RKI)を提案する。
RKIは、知識をグラフ構造単位にまとめ、診断評価とラウンド間のターゲット介入の共通基盤を提供する。
各ラウンドにおいて、RKIは知識の弱点をローカライズし、診断証拠と介入履歴からモデルの運用知識状態を推定し、対応する介入を選択し、次の介入を決定する前に更新されたモデルを再評価する。
HotpotEvalとSafeInternalEvalでは、RKIは既存の知識導入手法を平均18.41ポイント上回っている。
さらに分析したところ、知識状態は弱点の局所化を超えて介入選択のための追加のガイダンスを提供し、観測された弱点が持続する場合でも、モデル更新間で変更可能であることが示された。
関連論文リスト
- MedKIT: Evaluating Knowledge Integration and Generalization in Large Language Models [52.12374286331618]
既存の知識統合の評価は事実的リコールに重点を置いており、新たに統合された知識が実際に利用可能かどうかについての限られた洞察を提供する。
我々のベンチマークであるMedKITは、臨床アップデートの現実的なシーケンスの下で、モデルがどのように統合され、知識を適用するかを詳細に評価する。
MedKITを用いて、5つの異なるモデルにわたる12の知識統合戦略に関する大規模な実証的研究を行う。
論文 参考訳（メタデータ） (2026-09-29T21:00:48Z) - Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。
我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
論文 参考訳（メタデータ） (2026-08-11T20:16:20Z) - Knowledge-Informed Local Causal Discovery of Optimal Adjustment Sets [40.628201358330976]
局所因果発見は、グローバルな構造学習に代わるスケーラブルな代替手段である。
本稿では,最適化セットの局所的な発見のための知識インフォームド拡張であるb-LOADを提案する。
実世界の生物学的ネットワークにおける結果は、局所的に対象とする事前知識が最大の利益をもたらすことを示している。
論文 参考訳（メタデータ） (2026-07-05T18:18:42Z) - Know More, Know Clearer: A Meta-Cognitive Framework for Knowledge Augmentation in Large Language Models [80.21037538996553]
本稿では,異なる介入とアライメントによる信頼度向上のための新しいメタ認知フレームワークを提案する。
我々の手法は、知識空間をマスターされた、混乱した、行方不明な領域に分割し、対象とする知識拡大を導くために、内部認知信号を活用する。
我々のフレームワークは、知識能力の向上だけでなく、未知の知識をよりよく区別する認知行動の育成においても、その合理性を検証し、強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-02-13T15:07:35Z) - Are We Evaluating the Edit Locality of LLM Model Editing Properly? [68.441768731381]
この目的のために既存の特異性評価プロトコルは不十分であることがわかった。
既存の特異度指標は特異度正規化器の強度と弱い相関関係にある。
また、現在のメトリクスには十分な感度が欠けており、異なるメソッドの特異性性能の区別に効果がないこともわかりました。
論文 参考訳（メタデータ） (2026-01-24T07:07:21Z) - Mutual Information Tracks Policy Coherence in Reinforcement Learning [0.0]
強化学習(RL)エージェントは、センサの故障、アクチュエータの摩耗、環境変化による劣化に直面している。
本稿では,RLの基本動力学を両立させる情報理論フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-12T17:24:20Z) - Does Localization Inform Unlearning? A Rigorous Examination of Local Parameter Attribution for Knowledge Unlearning in Language Models [6.616699416048577]
大規模言語モデルは意図しない内容を保持することが多く、知識の学習への関心が高まる。
最近のアプローチでは、ターゲット知識を除去するために、局所的な未学習を強調し、特定の領域へのパラメータ更新を制限する。
しかし、その効果は、未学習の競合する目標間のトレードオフの堅牢で徹底的な評価が欠如していることから、いまだに不確実である。
論文 参考訳（メタデータ） (2025-05-22T05:41:53Z) - Precise Localization of Memories: A Fine-grained Neuron-level Knowledge Editing Technique for LLMs [47.06544781855325]
本研究では、成功率に影響を与えることなく、局所性を改善するための微粒なニューロンレベルの知識編集(FiNE)手法を提案する。
フィードフォワードネットワーク内の特定のニューロンを正確に識別し、修正することにより、FiNEは知識のローカライゼーションと編集を大幅に改善する。
論文 参考訳（メタデータ） (2025-03-03T01:30:28Z) - Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。
微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。
本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
論文 参考訳（メタデータ） (2024-10-08T08:35:16Z) - Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。
人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。
StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文 参考訳（メタデータ） (2024-02-20T14:36:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。