論文の概要: Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

• arxiv url: http://arxiv.org/abs/2608.14929v1
• Date: Fri, 14 Aug 2026 22:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.128439
• Title: Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
• Title（参考訳）: 学習の痕跡:言語モデル線形性検証のための残留署名中心
• Abstract要約: オープンウェイト言語モデルは微調整され、量子化され、刈り取られ、マージされるが、その成果はしばしば文書化されていない。 重みだけで、2つの互換性のあるモデルチェックポイントが祖先を共有するかどうかを明らかにすることができるのか? 残差ブロック間でチェックポイント固有の構造を比較し、独立したチェックポイントに対して調整された対称なシークエンススコアを得る。
• 参考スコア（独自算出の注目度）: 0.14323566945483496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-weight language models are fine-tuned, quantized, pruned, and merged, yet their provenance is often undocumented. We study data-free white-box lineage verification: can weights alone reveal whether two compatible model checkpoints share ancestry? Residual training produces a shared identity-aligned component in branch products, so this structure alone cannot establish ancestry. We remove it and compare checkpoint-specific structure across residual blocks, yielding a symmetric lineage score calibrated against independent checkpoints. On residual-MLP and GPT-2 benchmarks, the score separates fine-tuned, LoRA-merged, pruned, and quantized descendants from independent and distilled models (AUROC=1.0), distinguishing weight ancestry from behavioral similarity. Under function-preserving checkpoint laundering experiments, weight-space baselines lose margin or fail; our score remains unchanged and runs 76x faster than the nearest robust baseline on GPT-2. The projection-pairing signal appears across six language-model families and beyond, and a case study correctly identifies 3 related and 7 unrelated LLaMA-2 public checkpoints. Collectively, these results establish a passive, data-free provenance signal for compatible open-weight language-model checkpoints
• Abstract（参考訳）: オープンウェイト言語モデルは微調整され、量子化され、刈り取られ、マージされるが、その成果はしばしば文書化されていない。 重みだけで、2つの互換性のあるモデルチェックポイントが祖先を共有するかどうかを明らかにすることができるのか? 残留トレーニングは、分岐生成物において共有ID整合成分を生成するため、この構造だけでは祖先を確立できない。 我々はそれを除去し、残りのブロック間でチェックポイント固有の構造を比較し、独立したチェックポイントに対して校正された対称なスコアを得る。 残留MLPおよびGPT-2ベンチマークにおいて、スコアは、微調整、LoRAマージ、プルーニング、および定量化された子孫を独立した蒸留モデル(AUROC=1.0)から分離し、重量祖先と行動類似性を区別する。 関数保存型チェックポイント洗浄実験では,ウェイトスペースのベースラインはマージンやフェールを減らし,スコアは変わらず,GPT-2のベースラインよりも76倍速く動作している。 プロジェクションペアリング信号は6つの言語モデルファミリーにまたがって現れ、ケーススタディでは3つの関連性および7つの非関連性LLaMA-2公開チェックポイントを正しく識別する。 これらの結果は、互換性のあるオープンウェイト言語モデルチェックポイントのためのパッシブでデータフリーな証明信号を確立する。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
  本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。 このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。 The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
  論文  参考訳（メタデータ） (2026-05-30T11:20:29Z)
• Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection [0.0]
  我々はLoRAをトレーニングデータ中毒によって確実にバックドアできることを示す。 攻撃はランクとともに単調にスケールし、選択されたトリガーアンカートークンはトリガー依存とベースモデル依存の両方である。 行動検出はサプライチェーンスキャンの操作可能な結果である。
  論文  参考訳（メタデータ） (2026-05-28T16:32:25Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• TopoGeoScore: A Self-Supervised Source-Only Geometric Framework for OOD Checkpoint Selection [1.4877856019517555]
  ラベルなしOODチェックポイント選択のためのソースのみの幾何スコアである textbfTopoGeoScore を提案する。 我々は、ソース埋め込みからクラス条件の相互$k$-nearest-neighbourグラフを構築し、3つの解釈可能な信号を抽出する。 ウェイトを手で固定する代わりに、TopoGeoScoreは自己教師対象を通じて非負の線形スコアを学習する。
  論文  参考訳（メタデータ） (2026-05-09T10:46:47Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Adapting Multilingual Models to Code-Mixed Tasks via Model Merging [9.620539727633274]
  我々は,コード混合NLPの従来の適応戦略の代替として,モデルマージについて検討した。 我々は,XLM-RとLlama-3.2-1Bモデルを用いて,英語・ヒンディー語(En-Hi)と英語・スペイン語(En-Es)の文分類(センチメントとヘイトスピーチ)課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-10-22T17:16:23Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Data Leakage and Redundancy in the LIT-PCBA Benchmark [0.0]
  LIT-PCBAは仮想スクリーニングモデルのベンチマークに広く使われている。 データ漏洩と分子の冗長性は、そのモデルにまたがっている。 LIT-PCBAで公表された結果のほとんどすべてが弱体化されている。
  論文  参考訳（メタデータ） (2025-07-29T00:23:45Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。