論文の概要: When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse

• arxiv url: http://arxiv.org/abs/2608.20516v1
• Date: Thu, 20 Aug 2026 19:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.16058
• Title: When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse
• Title（参考訳）: Graph-JEPAが間違ったことを学ぶとき--カテゴリー依存的崩壊の診断と修復
• Abstract要約: 共同埋め込み予測アーキテクチャは線形探索と有効ランクによってほぼ普遍的に選択される。 本報告では,表現中に使用可能なインスタンス情報がゼロである場合に,両者が正常に読まれる事例を報告する。 Graph-JEPAは、サブグラフの残りの側面から1つのマスクされたアスペクトを予測し、線形プローブ精度0.871と有効ランク18-47を達成する。 再現性監査とターゲットゲートを備えたハーネスをリリースする。
• 参考スコア（独自算出の注目度）: 3.0255780640228984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-embedding predictive architectures are selected almost universally by linear probing and effective rank. We report a case where both read healthily while the representation carries zero usable instance information. We repair it, and a second failure appears: the repaired metric saturates on a target carrying no structural information. Our corpus is a scientific-reasoning graph over 57,903 articles, each a subgraph. A Graph-JEPA predicts one masked aspect from a subgraph's remaining aspects, attaining linear-probe accuracy 0.871 and effective rank 18-47, yet retrieval recovers 0.00 of 14.4 bits (MRR 1.9e-4 vs chance 1.99e-4, p=0.98). Three upper bounds on the same pool and code recover nearly everything (+14.28, +14.34, +14.22 bits), ruling out corpus, masking, pool, and metric as causes. We trace this to variance allocation - frozen inputs place 86.05% of variance on subgraph identity and 0.40% on aspect identity, while trained latents place 0.39% and 99.61%. This is a property of the objective's optimum: the degenerate solution is a global minimum of the coupled predictor/EMA-target objective, present already at init. A repaired configuration reaches 14.377 of 14.379 bits, above the 13.865-bit oracle; reverting the loss to regression drops it to 0.307 bits, confirming it. Yet the repair licenses nothing about reasoning: the target is reducible, since intra-subgraph edges are a deterministic function of node census. The oracle reaches 96.4% of the ceiling, and our largest effect is the learning-rate schedule, not architecture. Bits and a reasoning probe show no relation across ten cells. A data-derived target fails a quality gate - 25.96% of nodes are duplicate placeholders, and the rest is more generic than supporting evidence. Rank, probes, and metrics can all saturate on an unsupportive evaluation. We release a harness with a reducibility audit and target gate.
• Abstract（参考訳）: 共同埋め込み予測アーキテクチャは線形探索と有効ランクによってほぼ普遍的に選択される。 本報告では,表現中に使用可能なインスタンス情報がゼロである場合に,両者が正常に読まれる事例を報告する。 我々はそれを修復し、第二の失敗が現れる: 修復されたメートル法は、構造情報を持たないターゲットに飽和する。 私たちのコーパスは57,903件の論文をまとめた科学推論グラフです。 Graph-JEPAは、サブグラフの残りの側面から1つのマスクされたアスペクトを予測し、線形プローブ精度0.871と有効ランク18-47を得るが、リカバリは14.4ビット(MRR 1.9e-4対MRR 1.9e-4, p=0.98)の0.00を回復する。 同じプールとコード上の3つの上限(+14.28, +14.34, +14.22ビット)は、コーパス、マスキング、プール、メートル法を原因として除外する。 これは分散割当に遡る - 凍結された入力はサブグラフアイデンティティの86.05%、アスペクトアイデンティティの0.40%、トレーニングされた潜伏者は0.39%、99.61%である。 退化解は、既にinitに存在している結合予測器/EMA-ターゲット目標のグローバルな最小値である。 修復された構成は14.379ビットの14.377に到達し、13.865ビットのオラクルを上回り、レグレッションの損失を0.307ビットに戻す。 グラフ内エッジはノード国勢調査の決定論的機能であるため、ターゲットは再現可能である。 オラクルは天井の96.4%に達し、私たちの最大の影響はアーキテクチャではなく学習率のスケジュールです。 ビットと推論プローブは10個の細胞に何の関係も示さない。 ノードの25.96%は重複したプレースホルダーであり、残りは証拠を支持するよりも一般的である。 ランク、プローブ、メトリクスはすべて、サポートされない評価に基づいて飽和させることができる。 再現性監査とターゲットゲートを備えたハーネスをリリースする。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
  1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。 隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。 判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。 診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
  論文  参考訳（メタデータ） (2026-09-04T00:26:45Z)
• Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories [1.3092549225920291]
  表面形状と意味を意図的に分離した埋め込み検索の評価を行った。 数学では、失敗は完全である: 最も重い偽りの階層における厳密なhit@1は、両方のプロダクション埋め込みに対して0.0%である。 表面の変化が付随する軌道では、同じモデルが超幾何学的確率で着陸する。
  論文  参考訳（メタデータ） (2026-09-01T17:19:57Z)
• The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom [0.0]
  LeModelは、予測損失と1つの反崩壊正規化器を備えた潜在世界モデルを訓練する。 約25ドル(約2万5000円)のレンタルコンピュータ上で、独立した再実装によってこれを再現し、1台のラップトップCPU上で全ての評価を行う。
  論文  参考訳（メタデータ） (2026-08-10T19:00:51Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry [0.0]
  モデルのファーストアタプティブコードの正しさは、プロンプト-ファイナル隠れ状態から線形にデオード可能である。 モデルが失敗した最初の試みを修復しようとするケース236では、失敗した試みからその修復への隠れ状態シフトが統計的に検出可能なコントラスト方向をもたらす。
  論文  参考訳（メタデータ） (2026-06-12T15:06:15Z)
• Beyond Homophily: Towards Generalized Graph Reconstruction Attack and Defense [80.28330585803133]
  グラフニューラルネットワーク(GNN)は、計算データに広くデプロイされているが、トレーニンググラフの隣接性に関する機密情報やプロプライエタリ情報を漏洩することができる。 本研究は、訓練されたGNNからトレーニング隣接性を再構築するモデル逆転の一形態であるグラフ再構成攻撃(GRA)について研究する。 本稿では, MC-GRA(+)を提案する。これは, GNNにより誘導される表現が対象モデルのそれと一致した代理隣接を最適化することにより, 隣接性を再構築する。 防衛面では, MC-GPB (+) を提案する。
  論文  参考訳（メタデータ） (2026-06-06T09:29:27Z)
• Strained Coherence: A Pre-Failure Signal in Coding Agent Execution Trajectories [0.0]
  LLMベースのコーディングエージェントは、時には自身の推論で問題を認識し、いずれにせよ前進する。 我々はClaude Sonnet 4.6のジャッジを構築し、完全なトラジェクトリとフラグがパターンの発生する場所にまたがる。 Qwen3.5-35B-A3Bのバックボーンを用いて44個の終端ベンチ2軌道上で評価を行った。
  論文  参考訳（メタデータ） (2026-06-05T22:52:16Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Reading Task Failure Off the Activations: A Sparse-Feature Audit of GPT-2 Small on Indirect Object Identification [0.0]
  我々は, GPT-2小火器のスパースオートコーダ(SAE)機能について, 失敗した試験と成功した試験との違いを報告した。 300プロンプトでは、GPT-2小径の精度は79.7%に達し、Bloom (2024)の層8残流SAEリリースの24,576個の特徴のうち146個はホルム補正値の閾値をクリアしている。 17,491, d=+2.93, Neuronpedia label 'cryptographic key' は、プロンプトの転送されたオブジェクトが「キー」である場合を除いて、本質的に静かである。
  論文  参考訳（メタデータ） (2026-05-21T16:55:27Z)
• Linear Regression under Missing or Corrupted Coordinates [58.9213131489513]
  我々は,コーディネート的な予算の下で,敵によってデータの破損や消去を行う方法について検討する。 不完全なデータ設定では、敵はデータセットを検査し、最大1座標あたりのサンプルの$eta$-fractionのエントリを削除することができる。 破損したデータ設定では、敵は代わりに任意に値を置換し、その汚職位置は学習者にとって未知である。
  論文  参考訳（メタデータ） (2025-09-23T17:01:43Z)
• Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
  デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。 我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。 全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
  論文  参考訳（メタデータ） (2025-08-28T04:13:51Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。