論文の概要: What Makes a Redundant Representation Remember? Lineage Isolation, Not Masking

• arxiv url: http://arxiv.org/abs/2609.05304v1
• Date: Fri, 04 Sep 2026 15:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.110158
• Title: What Makes a Redundant Representation Remember? Lineage Isolation, Not Masking
• Title（参考訳）: 余分な表現を思い出すのは、マスキーではなくラインジュアライズ(動画)
• Abstract要約: 動的最適化のためのメモリベースの進化アルゴリズムは、しばしばジェノタイプの冗長な2番目のコピーを持ち、目的に1つのコピーしか公開しない。 この仮定は、通常実装されているように偽であることを示すとともに、シールドされたコピーが情報を保持するかどうかを実際に決定する構造的特性を特定する。 2つの独立設計軸を持つゲート二重コピー表現のような手法を定式化する。
• 参考スコア（独自算出の注目度）: 5.414649342700987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-based evolutionary algorithms for dynamic optimization often carry a redundant second copy of the genotype and expose only one copy to the objective, on the assumption that the shielded copy accumulates information about past optima. We show this assumption is false as usually implemented, and identify the structural property that actually determines whether the shielded copy retains information. We formalize such methods as a gated dual-copy representation with two independent design axes: a gating rule deciding which copy is evaluated, and an inheritance rule deciding whether the two copies mix across generations. A ablation shows retained information is governed almost entirely by the inheritance rule (21.4 vs. 1.3 bits) and is nearly invariant to the gating rule. Per-locus independent inheritance reshuffles cross-locus structure every generation, so shielding preserves the variance of the hidden copy while destroying the pattern that constitutes a memory. Under isolated inheritance the memory effect is real: against a single-copy baseline matched for representation budget, the method gains +0.010 AUC when optima recur periodically and loses 0.078 when they drift unidirectionally---a 0.089 separation under otherwise identical settings, which excludes explanations based on added capacity. We show the readout rate is also the corruption rate, predicting and confirming an interior optimum replicated across two implementations. We report one negative result with a mechanism: dual-copy representations lower the mutational error threshold, because gated expression is a selector rather than a joint decoder and therefore provides no coding gain. Finally, we document a benchmarking hazard: on dynamic benchmarks the choice of recombination operator alone shifted our baseline by 0.062 AUC, six times the effect size under study.
• Abstract（参考訳）: 動的最適化のためのメモリベースの進化アルゴリズムは、しばしば重複した2番目のコピーを持ち、シールドされたコピーが過去のオプティマに関する情報を蓄積していると仮定して、目的に1つのコピーしか公開しない。 この仮定は、通常実装されているように偽であることを示すとともに、シールドされたコピーが情報を保持するかどうかを実際に決定する構造的特性を特定する。 2つの独立した設計軸を持つゲート二重コピー表現として、どのコピーが評価されるかを決定するゲーティングルールと、2つのコピーが世代毎に混在するかを決定する継承ルールを定式化する。 アブレーションは保持された情報をほぼ完全に継承規則(21.4対1.3ビット)で管理しており、ゲーティング規則とほとんど不変であることを示している。 パーローカス独立継承は、世代毎にクロスローカス構造を再シャッフルするため、メモリを構成するパターンを破壊しながら、隠されたコピーのばらつきを保存する。 単一のコピーのベースラインが表現予算と一致した場合、メソッドは定期的にオプティマが再帰したときに+0.010 AUCを獲得し、一方向のドリフト時に0.078を失う。 読み出し率も汚職率であり,2つの実装で再現された内部最適条件の予測と確認を行う。 二重コピー表現は、共形デコーダではなくセレクタであり、符号ゲインを提供しないため、突然変異エラー閾値を下げる。 最後に、ベンチマークハザードを文書化する: 動的ベンチマークでは、リコンビネーション演算子のみの選択が、研究中の効果の大きさの6倍である0.062 AUCにシフトした。

関連論文リスト

• Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining [17.78093240780209]
  コピー保持から重複検出を分離するスケーラブルなサブドキュメント複製フレームワークを提案する。 FineWeb-Eduの実験とコードを含むWebコーパスにより,本手法が処理したデータに基づいてトレーニングしたモデルが,全体的な性能を最高のものにすることを示す。
  論文  参考訳（メタデータ） (2026-08-04T04:02:28Z)
• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• ScDiVa: Masked Discrete Diffusion for Joint Modeling of Single-Cell Identity and Expression [24.508523704467695]
  シングルセルRNA-seqプロファイルは高次元、スパース、非秩序であり、自己回帰生成は人工的な秩序バイアスを課す。 そこで我々は,ScDiVaをマスク付き離散拡散基礎モデルとして提案する。
  論文  参考訳（メタデータ） (2026-02-03T12:50:29Z)
• To Copy or Not to Copy: Copying Is Easier to Induce Than Recall [5.057026826740146]
  言語モデルは、重みに格納されたパラメトリック知識と、プロンプトの文脈情報とを仲裁しなければならない。 本研究は, モデルアクティベーションから慣性ベクトルを抽出し, その選択に関する力学的検討を行う。
  論文  参考訳（メタデータ） (2026-01-17T14:46:29Z)
• Seed-Induced Uniqueness in Transformer Models: Subspace Alignment Governs Subliminal Transfer [0.3805935148497361]
  教師が生徒が線形に復号化できる隠された特徴を埋め込むトランスフォーマーモデルにおけるサブリミナルトランスファーの分析を行う。 伝達強度は特性識別部分空間内のアライメントに比例する。
  論文  参考訳（メタデータ） (2025-11-02T17:34:43Z)
• CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
  LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。 リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
  論文  参考訳（メタデータ） (2024-07-09T17:58:18Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
  正の対を識別する学習尺度を新たに提案する。 検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。 本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T13:44:45Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• Dual Cluster Contrastive learning for Person Re-Identification [78.42770787790532]
  私たちはDual Cluster Contrastive Learning(DCC)という統合クラスタコントラストフレームワークを定式化します。 DCCは、個々のメモリバンクとセントロイドクラスタメモリバンクの2種類のメモリバンクを維持している。 教師なしまたは監督されていない人物のReIDに容易に適用できる。
  論文  参考訳（メタデータ） (2021-12-09T02:43:25Z)
• Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
  既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。 反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。 我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
  論文  参考訳（メタデータ） (2021-10-28T16:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。