論文の概要: What You Can't See Is What You Learn: Restricted Evidence Visibility Favors Compositional Generalization in Shared-Genome Language-Model Societies
- arxiv url: http://arxiv.org/abs/2608.20054v2
- Date: Sun, 23 Aug 2026 17:58:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:42.98664
- Title: What You Can't See Is What You Learn: Restricted Evidence Visibility Favors Compositional Generalization in Shared-Genome Language-Model Societies
- Title（参考訳）: 制限されたエビデンスビジュアライゼーションは、共有ゲノム言語モデル社会における構成的一般化を好む
- Authors: Narcis Marincat,
- Abstract要約: 制限された社会は10対中9対の両深度で少なくとも20ポイント、0.7648と0.6050の2対の利点がある。
6つの監査された制限された社会の中で、同じ値のパケット移植は全ての試験されたインターフェースで0.94-1.00の動作を保存する。
唯一の高性能グローバルモデルも通信を必要とするが、その同値パケットはエピソード間では交換できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-module systems often expose every module to the full input. We test whether restricting evidence visibility changes which solutions gradient-based training discovers. Four-cell societies share one frozen pretrained language model and one low-rank adapter, communicating only through two model-width continuous vectors in a fixed relay. On a prospectively sealed natural-language function-composition task, we train ten matched restricted/global pairs sharing initialization bytes, training order, token layout, parameters, and computation; only the attention mask differs. Restricted societies outperform their globally visible twins by at least 20 points at both depths in 9 of 10 pairs, with median paired advantages of 0.7648 and 0.6050. Cutting communication reduces every restricted society to chance, and the depth-three advantage remains 0.558 on programs whose composite function never appeared in training. Across six audited restricted societies, same-value packet transplants preserve behavior at 0.94-1.00 across all tested interfaces; destructive interventions collapse performance; and counterfactual packets redirect outputs toward the mathematically predicted answer. The sole high-performing global model also requires communication, but its same-value packets are not interchangeable across episodes. Restricted visibility is thus not necessary for composition; under this protocol it substantially increases the probability of a generalizing relay and favors a reusable, value-indexed interface. The complete preregistered battery nevertheless formally fails because restricted-arm median depth-three accuracy is 0.6988, below the 0.70 floor. An earlier qualification cohort likewise yielded 0/10 complete passes: one model met every task-performance gate, but all ten failed ordinary-language preservation, confining the system to explicitly task-gated use.
- Abstract（参考訳）: マルチモジュールシステムは、全てのモジュールを完全な入力に公開することが多い。
我々は、解勾配に基づくトレーニングが発見する証拠の可視性を制限するかどうかを検証する。
4セル社会は1つの凍結事前訓練された言語モデルと1つの低ランクアダプターを共有し、固定リレー内の2つのモデル幅連続ベクトルを介してのみ通信する。
先見的に封印された自然言語関数合成タスクでは、初期化バイト、トレーニング順序、トークンレイアウト、パラメータ、計算を共用する10組の制限/言語ペアを訓練する。
制限された社会は10対中9対の両深度で少なくとも20ポイント、0.7648と0.6050の2対の利点がある。
コミュニケーションの切断はあらゆる制限された社会の機会を減らし、訓練に複合機能が現れないプログラムでは深度3の優位性は0.558のままである。
6つの監査された制限された社会の中で、同じ値のパケット移植は全ての試験されたインターフェースで0.94-1.00の動作を維持し、破壊的な介入は性能を低下させ、反実的なパケットは出力を数学的に予測された答えにリダイレクトする。
唯一の高性能グローバルモデルも通信を必要とするが、その同値パケットはエピソード間では交換できない。
したがって、構成には制限された可視性は不要であり、このプロトコルでは、一般化されたリレーの確率を大幅に増加させ、再利用可能な値インデックスインターフェースを好んでいる。
完全に登録済みのバッテリーは、0.70階より下の0.6988という制限されたアーム中央3度の精度のため、公式には失敗する。
以前の資格コホートも同様に0/10の完全パスを得た: 1つのモデルがすべてのタスクパフォーマンスゲートを満たしたが、すべての10の標準言語保存が失敗し、明示的にタスクゲートの使用を制限した。
関連論文リスト
- Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。
このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
論文 参考訳（メタデータ） (2026-06-10T19:34:31Z) - AttackPathGNN: Cross-function vulnerability detection in smart contracts using state interference graphs and conjunction pooling [3.8615905456206256]
Solidityスマートコントラクトのための既存の学習ベースの検出は、脆弱性検出を単一関数内のパターンマッチングに還元する。
本稿では,グラフニューラルネットワーク(GNN)であるAttackPathGNNを提案する。
論文 参考訳（メタデータ） (2026-06-04T10:30:24Z) - Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B [0.0]
インストラクトチューニングされた小さなLLMは、最小の誘引の下で変性した言語的信頼を生み出す。
自信条件付き教師付き微調整と自己整合性に基づく目標が内部情報と音声読取のギャップを埋めるかどうかを検証した。
論文 参考訳（メタデータ） (2026-04-27T05:53:26Z) - Mario at EXIST 2025: A Simple Gateway to Effective Multilingual Sexism Detection [8.40042895828361]
EXIST 2025 Task 1は、Llama 3.1 8Bの階層的低ランク適応(LoRA)を通じて、英語とスペイン語のツイートでテキストベースの性差別を検出する。
本手法では,3つの階層的なサブタスク間の依存関係を明示的にモデル化する条件付きアダプタルーティングを導入する。
提案手法は,トレーニング時間を75%削減し,モデルストレージを98%削減すると同時に,すべてのサブタスクで競合性能を実現する。
論文 参考訳（メタデータ） (2025-07-15T05:30:32Z) - Distributed Training under Packet Loss [8.613477072763404]
信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。
そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。
この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-07-02T11:07:20Z) - Variational Supervised Contrastive Learning [50.79938854370321]
本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。
VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
論文 参考訳（メタデータ） (2025-06-09T04:19:12Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-03-21T06:12:06Z) - Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。
我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。
我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-30T13:22:15Z) - CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。
複数のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-11-23T02:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。