論文の概要: What You Can't See Is What You Learn: Slot-Selective Evidence Masking Favors Compositional Generalization in Shared-Genome Language-Model Societies
- arxiv url: http://arxiv.org/abs/2608.20054v3
- Date: Tue, 25 Aug 2026 13:22:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:33.806196
- Title: What You Can't See Is What You Learn: Slot-Selective Evidence Masking Favors Compositional Generalization in Shared-Genome Language-Model Societies
- Title(参考訳): Slot-Selective Evidence Masking Favors compositional Generalization in Shared-Genome Language-Model Societies
- Abstract要約: 我々は、アテンションマスクを除いて、10個のマッチした制限付き/グロバルペアを訓練する。
制限された視認性社会は、両深度で少なくとも20ポイント以上の視認性双生児を上回っている。
ホック選択後の6つの制限された社会では、正しく答えられた保留エピソードに対するパケットの介入は、およそ値インデクシングされたリレー状態と一致している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-module neural systems often expose every module to the full input. We test whether a slot-selective evidence-masking regime -- restricting each module to its own evidence span -- changes which solutions gradient-based training discovers. Four-cell societies share one frozen pretrained language model and one low-rank adapter, communicating only through two model-width continuous vectors in a fixed relay. On a prospectively sealed natural-language function-composition task, we train ten matched restricted/global pairs identical except for the attention mask. Restricted-visibility societies outperform their globally visible twins by at least 20 percentage points at both depths in 9 of 10 pairs, with median paired advantages of 0.7648 and 0.6050. Cutting communication reduces every restricted society to chance, and in a post hoc collision-stratified analysis the depth-three advantage remains 0.558 on programs whose complete affine map never appeared in training. In six post hoc-selected restricted societies, packet interventions on correctly answered held-out episodes are consistent with approximately value-indexed relay states; the sole high-performing global model also requires communication, but its same-value packets are not interchangeable across episodes. Thus restricted visibility is not necessary for composition. Under the tested seeds, streams, task world, and training budget, the masking regime strongly shifted which solutions training discovered: a post hoc mask crossover finds both arms mask-native. Because the restricted mask both blocks foreign evidence and implicitly identifies each cell's assigned slot, attribution to evidence visibility alone awaits a role-marked control. The preregistered battery nevertheless formally fails because restricted-arm median depth-three accuracy is 0.6988, below the 0.70 floor; an earlier qualification cohort yielded 0/10 complete passes.
- Abstract(参考訳): マルチモジュールニューラルネットワークは、全てのモジュールを完全な入力に公開することが多い。
スロット選択的なエビデンスマスキング体制 -- 各モジュールを自身のエビデンスに制限する -- が、ソリューションの勾配に基づくトレーニングが発見する状況を変えるかどうかをテストする。
4セル社会は1つの凍結事前学習言語モデルと1つの低ランクアダプターを共有し、固定リレー内の2つのモデル幅連続ベクトルを介してのみ通信する。
また,前向きに封印された自然言語関数合成タスクにおいて,注目マスクを除く10組の一致した制限/言語ペアを訓練する。
制限された可視性社会は10対中9対の両深度で少なくとも20ポイント、0.7648と0.6050の2対の利点がある。
コミュニケーションの切断はあらゆる制限された社会を機会に還元し、ポストホック衝突層分析では、完全なアフィンマップがトレーニングに現れなかったプログラムでは、深さ3の利点は0.558のままである。
ホック選択後の6つの制限された社会では、正しく応答された保留エピソードに対するパケット介入は、ほぼ価値インデクシングされたリレー状態と一致しているが、唯一の高パフォーマンスなグローバルモデルも通信を必要とするが、同値パケットはエピソード間では交換できない。
したがって、構成に制限された可視性は必要ない。
テストされたシード、ストリーム、タスクワールド、トレーニング予算の下で、マスク体制は、トレーニングが発見したソリューションを強くシフトした。
制限されたマスクはどちらも外国の証拠をブロックし、各細胞に割り当てられたスロットを暗黙的に識別するので、証拠の可視性への帰結はロールマークされた制御を待つ。
但し、事前登録された電池は0.70階より下方の制限アーム中央3度の精度が0.6988であり、以前の認定コホートでは0/10の完全パスが得られたため、公式には失敗する。
関連論文リスト
- GroundBench: A Factorized, Counterfactual Benchmark for Locating VLM Affordance Failures [0.0]
コンパニオン評価により、8つの視覚言語モデルにおいて、操作中の対象部位の命名により動作精度が0.32-0.63向上することが判明した。
しかし、部品の命名は、実際のシステムが推論し、視覚的接地、機械的推論、カテゴリー対アクションの関連性を見極めなければならない情報を提供する。
GroundBenchは、これらの説明を6つのブランチ・アンド・マージ条件で分離する診断ベンチマークである。
論文 参考訳(メタデータ) (2026-09-10T14:52:26Z) - Portable Semantics, Private Dialects: Reuse and Negative Transfer in Latent Communication Between Language-Model Cells [0.0]
共有ゲノム言語モデル社会では、可視性に制限のあるエビデンスでは、再利用可能な値インデックス付き潜在パケットインタフェースが好まれる。
本研究では、独立に訓練された社会が、厳密なゼロショット転送が失敗する1つのパケット言語を共有しているかどうかを問う。
論文 参考訳(メタデータ) (2026-09-10T10:53:47Z) - When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳(メタデータ) (2026-09-03T03:58:56Z) - AcrossWAM1.0:A Modular Latent World-Action Stack for Compact Robot Policies [14.556446786016787]
本稿では,LaWAMの潜在的ワールドアクションスタックのモジュール化とスケーリングに関する研究であるAcrossWAM1.0を紹介する。
AcrossWAM1.0は、コンパクトな潜在世界アクションポリシーのための監査可能なソフトウェアと評価バウンダリを提供する。
論文 参考訳(メタデータ) (2026-08-30T18:09:17Z) - Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation [8.326610259657334]
画像証拠に対して競合するクラスマスクを直接スコアする指標であるContrastive Mask Fidelityを紹介する。
10のリモートセンシングベンチマークで10,731のイメージクラスのペアを検査する。
盲目の3アノテーションのコンセンサスでは、CMFは81%のペアで専門家の判断と一致した。
論文 参考訳(メタデータ) (2026-08-10T04:02:32Z) - Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。
ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。
結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
論文 参考訳(メタデータ) (2026-06-28T14:27:40Z) - AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability [16.27940179594792]
AdversaBenchは、5つの構造化演算子でシードプロンプトをミュートするエンドツーエンドの赤チームパイプラインである。
本報告では, 推論, 指示追従, ツール利用の3つのカテゴリにまたがる45種の種子について実験を行った。
論文 参考訳(メタデータ) (2026-06-23T13:50:51Z) - Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns [0.0]
我々は、すでにトレーニング不要でアーキテクチャ全般的な機能ベースを提供しているトランスフォーマー隠蔽状態の標準基底を示す。
このBag of Dimsフレームワークを、言語にまたがる7つのモデルで検証する。
論文 参考訳(メタデータ) (2026-06-10T19:34:31Z) - AttackPathGNN: Cross-function vulnerability detection in smart contracts using state interference graphs and conjunction pooling [3.8615905456206256]
Solidityスマートコントラクトのための既存の学習ベースの検出は、脆弱性検出を単一関数内のパターンマッチングに還元する。
本稿では,グラフニューラルネットワーク(GNN)であるAttackPathGNNを提案する。
論文 参考訳(メタデータ) (2026-06-04T10:30:24Z) - Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B [0.0]
インストラクトチューニングされた小さなLLMは、最小の誘引の下で変性した言語的信頼を生み出す。
自信条件付き教師付き微調整と自己整合性に基づく目標が内部情報と音声読取のギャップを埋めるかどうかを検証した。
論文 参考訳(メタデータ) (2026-04-27T05:53:26Z) - Cross-modal Full-mode Fine-grained Alignment for Text-to-Image Person Retrieval [54.90229711181207]
TIPR (Text-to-Image Person Retrieval) は、与えられたテキストクエリに基づいて、最も関連性の高い人物画像を取得することを目的としている。
TIPRの鍵となる課題は、テキストと視覚のモダリティの効果的なアライメントを達成することである。
FMFA, クロスモーダルフルモーデファインファインファインファインアライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-17T07:12:05Z) - Mario at EXIST 2025: A Simple Gateway to Effective Multilingual Sexism Detection [8.40042895828361]
EXIST 2025 Task 1は、Llama 3.1 8Bの階層的低ランク適応(LoRA)を通じて、英語とスペイン語のツイートでテキストベースの性差別を検出する。
本手法では,3つの階層的なサブタスク間の依存関係を明示的にモデル化する条件付きアダプタルーティングを導入する。
提案手法は,トレーニング時間を75%削減し,モデルストレージを98%削減すると同時に,すべてのサブタスクで競合性能を実現する。
論文 参考訳(メタデータ) (2025-07-15T05:30:32Z) - Distributed Training under Packet Loss [8.613477072763404]
信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。
そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。
この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
論文 参考訳(メタデータ) (2025-07-02T11:07:20Z) - Variational Supervised Contrastive Learning [50.79938854370321]
本稿では,教師付きコントラスト学習を潜在クラス変数に対する変分推論として再構成した変分教師付きコントラスト学習(VarCon)を提案する。
VarConは対照的な学習フレームワークの最先端のパフォーマンスを達成し、ImageNet-1Kでは79.36%、CIFAR-100では78.29%、ResNet-50エンコーダでは78.29%に達した。
論文 参考訳(メタデータ) (2025-06-09T04:19:12Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳(メタデータ) (2025-03-21T06:12:06Z) - Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。
我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。
我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文 参考訳(メタデータ) (2023-11-30T13:22:15Z) - Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。
FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。
FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
論文 参考訳(メタデータ) (2022-09-05T14:49:34Z) - Towards Semi-Supervised Deep Facial Expression Recognition with An
Adaptive Confidence Margin [92.76372026435858]
Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。
すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。
提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
論文 参考訳(メタデータ) (2022-03-23T11:43:29Z) - CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。
複数のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-11-23T02:54:57Z) - Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive
Person Re-Identification [64.37745443119942]
本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。
3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
論文 参考訳(メタデータ) (2020-07-21T14:31:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。