論文の概要: From Spectral Saliency to Finite Deletion: Evaluating Selective Language Model Edits
- arxiv url: http://arxiv.org/abs/2610.18098v1
- Date: Tue, 13 Oct 2026 10:14:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 07:26:50.001495
- Title: From Spectral Saliency to Finite Deletion: Evaluating Selective Language Model Edits
- Title（参考訳）: スペクトル完全性から有限削除へ:選択型言語モデル編集の評価
- Abstract要約: 特異コンポーネントの削除は、言語モデルから機能を取り除くための正確な方法を提供するが、コンポーネントのランク付けに使用される1階のスペクトルサリエンシは、局所的な損失変化のみを予測する。
本研究では,予測誤差が選択的編集にどう影響するかを検討した。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deleting singular components offers a precise way to remove a capability from a language model, yet the first-order spectral saliency used to rank components predicts only a local loss change, whereas deletion is a finite intervention. In this paper, we study how prediction error affects selective editing, where selective editing requires degradation of a target task while preserving others. We decompose the error into derivative transfer across item splits and nonlinear response along the deletion path. We establish that outer interval screening retains every feasible candidate when every candidate's intervals contain its finite validation loss changes on every task. We evaluate these effects using one answer-only negative log-likelihood objective for search, validation, and test, with disjoint calibration and evaluation masks. The primary configuration targets arithmetic in Mistral-7B-Instruct-v0.3 while preserving code and question answering; extensions cover Llama-3.1-8B-Instruct and reversed target roles. In the primary study, which deletes 1024 coordinates from a support of 7168, calibrated intervals cover 968 of 1024 evaluation masks. Outer screening reaches the direct-selected edit after 25 verification checks, whereas direct verification abstains at a 32-check cap, but it rejects 4 of 74 feasible masks. All three selected edits pass validation, yet only one meets every test constraint. Interval coverage, feasible-candidate retention, and independent test preservation are therefore distinct properties and require separate assessment.
- Abstract（参考訳）: 特異成分の削除は、言語モデルから機能を取り除くための正確な方法を提供するが、コンポーネントのランク付けに使用される1階のスペクトル塩分は、局所的な損失変化のみを予測するのに対して、削除は有限の介入である。
本稿では,予測誤差が選択的編集にどう影響するかを検討する。
項目分割と削除経路に沿った非線形応答に誤差を分解する。
各候補の間隔が各タスクにおいて有限の検証損失変化を含む場合、外周検定はすべての実行可能な候補を保持する。
探索, 検証, テストのために, 回答のみの負の対数類似目的を用いて, 解離校正, 評価マスクを用いてこれらの効果を評価する。
Mistral-7B-Instruct-v0.3では、コードと質問応答を保存しながら算術をターゲットとし、拡張はLlama-3.1-8B-Instructとreversed target Roleをカバーする。
7168の支持体から1024座標を除去する主研究では、1024評価マスクの校正間隔が968をカバーしている。
外部スクリーニングは、25の検証チェックの後、直接選択された編集に到達し、直接検証は32チェックの上限で停止するが、74の可能なマスクのうち4つを拒否する。
選択された3つの編集はバリデーションをパスするが、テストの制約をすべて満たすのは1つだけである。
そのため、インターバルカバレッジ、実行可能候補保持、独立したテスト保存は異なる特性であり、別々の評価を必要とする。
関連論文リスト
- From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。
本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。
提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
論文 参考訳（メタデータ） (2026-09-29T17:49:07Z) - Over-Personalization Is a Decision Failure: Generation-Induced Apply Bias in LLMs [12.943884009471871]
LLMは、格納された各好みに対して、現在のコンテキストがそれを適用または抑制するよう求めるかどうかを判断しなければならない。
選好処理を3段階に分割し,それぞれを個別に測定する。
論文 参考訳（メタデータ） (2026-09-28T04:29:25Z) - When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。
観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。
完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
論文 参考訳（メタデータ） (2026-09-21T07:06:37Z) - Cross-View Correspondence Is a Measurement Intervention: Two-Sided Validation for Agent Evaluation and Credit Assignment [3.2479665905442645]
クロスビュー対応は、エージェントの評価やクレジットの割り当てがポイントの結論を支持する前に、宣言、検証、不確実性に伝播されなければならない。
本研究では,2側によるニュアンス除去と応答保存の検証,下流の結論のオールオプティマ同定,有効性確立後の不確実性伝播の3つの要素による妥当性理論と監査を開発する。
論文 参考訳（メタデータ） (2026-08-18T12:39:21Z) - A Pre-Specified Construction-Confirmation Test of Operation-Level Causal Transfer Across Finite Isomorphic Symbolic Domains [0.0]
2つの操作間の隠れ状態の違いが、ソース入力毎に別々に推定されているかどうかを問う。
この設計は、入力固有の介入を、不正操作、ノルムマッチングランダム、ノーオップ制御と比較し、個別に分離された確認分割から候補構築を分離する。
論文 参考訳（メタデータ） (2026-08-16T15:37:26Z) - Suppression Sticks, Locality Is Fragile: A Closed-Loop Target-and-Control Audit of Task-Vector Negation in VLA Policies [33.432377306905735]
タスクベクトル算術は、モデルを修正するためのクローズドフォームな方法を提供するが、クローズドループロボット制御において、その振る舞いの局所性は未だ不明である。
マルチタスク・ビジョン・ランゲージ・アクション(VLA: Multitask Vision-Language-action)ポリシーから,タスク・ベクターごとのタスク・ベクター・サブトラクションのターゲット・アンド・コントロール・監査を行う。
論文 参考訳（メタデータ） (2026-08-05T10:59:53Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Counterfactual Likelihood Tests for Indirect Influence in Private Reasoning Channels [51.56484100374058]
本稿では,私的推論チャネル間の影響を測定するための実証実験について述べる。
この方法は、上流のプライベートブロックを長さマッチングドナーブロックに置き換え、公開トークンシーケンスと下流ターゲットを固定し、下流ターゲットの負のログに似たシフトを測定する。
論文 参考訳（メタデータ） (2026-05-18T20:27:43Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing [42.89229070245538]
本稿では,正確かつ制御可能な知識編集のためのフレームワークであるREACTを紹介する。
最初の段階では、調整された刺激を用いて、潜在的な事実表現を抽出する。
第2段階では,大小スカラーのベクトルを用いて,制御可能な摂動を隠蔽状態に適用する。
論文 参考訳（メタデータ） (2025-05-25T01:57:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。