論文の概要: Where Does Jagged Competence Come From?

• arxiv url: http://arxiv.org/abs/2610.03831v1
• Date: Fri, 02 Oct 2026 12:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:56:53.59853
• Title: Where Does Jagged Competence Come From?
• Title（参考訳）: タグ付き能力はどこから来るのか?
• Abstract要約: 能力のあるシステムは、しばしばジャグの能力を示す: 特定の入力の失敗と並行して平均誤差が低い。 2つの既知のレイヤから構築されたタスクで、どこから来たのかを問う。 我々は、B上に小さなリカレントネットワークをトレーニングし、彼らが取得したAの真理に対して測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capable systems often show jagged competence: low average error alongside failures on particular inputs. We ask where it comes from in a task built from two known layers. A lower layer A computes five per-slot sums from records; an upper layer B uses the slot-1 sum and a mode carried over from earlier boards to predict the next board's category, so B cannot be computed from the current A alone: B is a strict extension of A. We train small recurrent networks on B and measure, against exact ground truth, what they acquire of A. The central finding is that learning B gives the network a jagged version of A, measured through probe readability and supervised outputs. It is readable where B needs it (slot 1, 97-98% by a linear probe) and becomes less readable where B does not (the other slots, 5-10%); category misreads concentrate near the slot-1 cutoffs; and when A is trained explicitly it comes out only approximately right. The networks show jagged competence in B: natural KL below $3\times10^{-4}$ bits coexists with a maximum law TV of about 0.25 on constructed histories. Matched experiments show that even a good A is not enough: connecting a learned A to B cuts misreads 1.3 to 17-fold, the same exact A gives fewer misreads as one-hot inputs (0-2) than as numerical inputs (10-317), one B update makes an exact A inexact unless the B gradient is blocked, and exact A still leaves some B failures. In this task, uneven acquisition, access and preservation of the lower theory explain part of the jagged competence of a network that learns the theory built on it; some failures remain unexplained. Whether the same holds in larger systems is a test to run.
• Abstract（参考訳）: 能力のあるシステムは、しばしばジャグの能力を示す: 特定の入力の失敗と並行して平均誤差が低い。 2つの既知のレイヤから構築されたタスクで、どこから来たのかを問う。 下層Aは、レコードからスロット当たりの合計を5つ計算する;上層Bはスロット-1和とモードを使用して、以前のボードから運ばれたモードを使用して、次のボードのカテゴリを予測するので、Bは、現在のAのみから計算できない: Bは、Aの厳密な拡張である。 B が必要なところでは読みやすく(線形プローブで1,97-98%)、B がそうでない場合は読みにくくなり(他のスロットで5-10%)、カテゴリーミスリードはスロット-1 のカットオフ付近に集中し、A が明示的に訓練されるとほぼ正しいだけになる。 天然のKLは3ドル以下の3.10^{-4}$bits共存であり、構築された歴史に関する最大0.25の法律テレビである。 学習したAとBを1.3から17倍に切断するのと同じ正確なAでは、数値入力(10-317)よりも1ホット入力(0-2)の誤読が少ない。 この課題では、下位理論の不正な取得、アクセス、保存が、その上に構築された理論を学習するネットワークのジャッジ能力の一部を説明できる。 より大きなシステムで同じことが成り立つかどうかはテストである。

関連論文リスト

• When Does More Correct Data Hurt? Insertion-Stability and the Limits of Dimension-Based Theory [0.0]
  クリーンPAC率よりも高い対数係数であるTheta((d/n)log(en/d))よりも予測される誤差を保証できないことを示す。 より正確にラベル付けされた例を入力すれば,学習者の挿入安定度は低下する。
  論文  参考訳（メタデータ） (2026-08-14T07:07:55Z)
• A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism [11.543353599329675]
  検証可能な報酬を伴う強化学習は、より強力なエージェントを生み出すことを期待して、監督されたチェックポイントで日常的に実行される。 4Bから8Bのスケールで、小さな言語とビジョン言語モデルWebエージェントにスキルを追加するかどうかを問う。 エージェントがほとんどマスターしたタスクに対して、強力な教師付きベースラインの成功率を確実に改善する構成は存在しない。
  論文  参考訳（メタデータ） (2026-07-14T11:17:35Z)
• Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors [0.2663471820643486]
  NC-FFNはGELUベースラインのパープレキシティを結び、各ユニットは明示的な論理形式を持つ。 どちらも、シーケンス量子化器の小さなブロックで解決する。 その結果、パラメータニュートラルな言語モデル品質トランスが実現した。
  論文  参考訳（メタデータ） (2026-06-30T15:46:27Z)
• A Cryptographic Perspective on Mitigation vs. Detection in Machine Learning [2.8437395946408124]
  我々は検出による防御(DbD)と緩和による防御(DbM)を定義する。 本稿では,DbDとDbMの分離を2つの生成学習課題として示す。
  論文  参考訳（メタデータ） (2025-04-28T23:46:45Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
  Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。 提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-08-13T01:25:04Z)
• EXPLAINABOARD: An Explainable Leaderboard for NLP [69.59340280972167]
  ExplainaBoardはNLP評価の新たな概念化と実装である。 研究者は(i)一つのシステムの強みと弱さを診断し、(ii)複数のシステム間の関係を解釈することができる。
  論文  参考訳（メタデータ） (2021-04-13T17:45:50Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)
• Block Switching: A Stochastic Approach for Deep Learning Security [75.92824098268471]
  近年の敵対的攻撃の研究は、現代のディープラーニングモデルの脆弱性を明らかにしている。 本稿では、オン性に基づく敵攻撃に対する防御戦略であるBlock Switching(BS)を紹介する。
  論文  参考訳（メタデータ） (2020-02-18T23:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。