論文の概要: Emergent Specialization in Populations of Self-Supervised Collaborative Vision Experts Without a Shared Gate or Cross-Agent Gradients

• arxiv url: http://arxiv.org/abs/2609.36770v1
• Date: Tue, 29 Sep 2026 05:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.214856
• Title: Emergent Specialization in Populations of Self-Supervised Collaborative Vision Experts Without a Shared Gate or Cross-Agent Gradients
• Title（参考訳）: 共有ゲートやクロスエージェントグラディエントのない自己監督型協調型視覚専門家の集団における創発的特殊化
• Abstract要約: 我々は、各ネットワークが独自の重みを持ち、同じ異種データで独立にトレーニングし、他のエージェントに助けを求めることができる環境について研究する。 共同で訓練されたゲートが専門家に入力を割り当てる専門家の混合物とは異なり、ここでの専門化は中央制御なしで行う必要がある。
• 参考スコア（独自算出の注目度）: 23.679962248832254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a population of neural networks develop a useful division of labor without a shared gate or gradients between agents? We study a setting where each network has its own weights, trains independently on the same heterogeneous data, and can ask another agent for help through a forward pass. Unlike mixtures of experts, where a jointly trained gate assigns inputs to experts, specialization here must emerge without central control. We test this in a small scale proxy for predictive visual pretraining. Initially identical agents are finetuned on an unlabeled mixture of six visual domains using masked prediction of frozen DINOv3 features. We measure specialization by asking whether the best agent for an input aligns with its latent domain, and utilization by asking whether responsibility is distributed across agents. We progressively remove central control, ending with DISCO (DIStributed COllaboration) where each agent locally selects a helper, reads its internal state through a gradient free channel, and rewards its router only for the improvement that help provides. Specialization emerges and is useful. Randomly routed populations underperform a single generalist, while semantically routed populations outperform it, showing that specialization rather than population size drives the gain. Specialization persists without a central router, and gradient free communication lets nonexperts exploit emergent expertise. In DISCO, a random agent helped by the expert matches the solo generalist, while experts surpass it, including on data outside the specialization mixture. Local routers select the emergent expert for 98% of inputs. These effects persist across population size, model capacity, data imbalance, and finetuning seeds, providing measurable evidence for the dynamics needed by decentralized predictive pretraining.
• Abstract（参考訳）: ニューラルネットワークの集団は、共有ゲートやエージェント間の勾配なしに、有用な分業を発達させることができるか? 我々は、各ネットワークが独自の重みを持ち、同じ異種データで独立に訓練し、フォワードパスを通じて他のエージェントに助けを求めることができる環境について研究する。 共同で訓練されたゲートが専門家に入力を割り当てる専門家の混合物とは異なり、ここでの専門化は中央制御なしで行う必要がある。 我々はこれを、予測的視覚前訓練のための小規模なプロキシでテストする。 当初同一のエージェントは、凍結したDINOv3特徴のマスク付き予測を用いて、6つの視覚領域のラベル付き混合物に微調整される。 入力に適したエージェントが潜在ドメインと整合するかどうかを問うとともに,エージェント間で責任が分散されているかどうかを問うことで,特殊化を計測する。 我々は、各エージェントがヘルパーをローカルに選択し、勾配自由チャネルを介して内部状態を読み出し、支援する改善のためにのみルータに報酬を与えるDICO(DIStributed Collaboration)に終止符を打って、集中制御を段階的に除去する。 特殊化が出現し、有用である。 ランダムにルートされた人口は1人のジェネリストよりも優れ、セマンティックにルートされた人口はそれより優れており、人口規模よりも専門化が利益を後押ししていることを示している。 専門化は中央のルータを使わずに継続し、非専門家が創発的な専門知識を活用できるようにする。 DISCOでは、専門家が支援するランダムエージェントが単独のジェネラリストと一致し、専門家がスペシャライゼーションミックス外のデータを含む、それを上回る。 ローカルルータは入力の98%で創発的エキスパートを選択する。 これらの効果は個体数、モデル容量、データ不均衡、微調整種子にわたって持続し、分散予測事前学習に必要な力学の計測可能な証拠となる。

関連論文リスト

• FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA [15.068543696107227]
  Federated PEFTは、LLMが生のサンプルを共有することなく、分散化されたプライベートデータに協調的に適応できるようにする。 既存のメソッドは通常、クライアントの粒度を専門とし、暗黙的にタスクコヒーレントなクライアントを仮定する。 非対称アグリゲーションを採用したフレームワークであるFedWeaveを提案し、ルータ最適化から専門家アグリゲーションを分離する。
  論文  参考訳（メタデータ） (2026-07-29T08:47:58Z)
• Artificial collectives of specialists and generalists excel at different tasks [1.7266027274320124]
  エージェントの解釈能力,合理性境界,タスク品質が集団的パフォーマンスにどのように作用するかを示す。 エージェントは、狭義の解釈能力を持つスペシャリストから、広義のジェネラリストまで様々である。 マルチエージェント設計は、タスク要求とエージェントの計算限界の両方に解釈ネットワークをマッチさせることの利点を示唆している。
  論文  参考訳（メタデータ） (2026-06-18T19:08:36Z)
• DeferredSeg: A Multi-Expert Deferral Framework for Trustworthy Medical Image Segmentation [66.24948946364329]
  DeferredSegは、特定の地域の人間専門家に予測をデファクトする、遅延認識セグメンテーションフレームワークである。 我々は、MedSAMとCENetをベースセグメンタとして、公平な比較のための3つの挑戦的な医療データセット上でDederredSegを評価した。 DeferredSegが一貫してベースラインを上回っていることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2026-04-14T07:50:31Z)
• Journey to the Centre of Cluster: Harnessing Interior Nodes for A/B Testing under Network Interference [16.98938598508327]
  クラスタレベルのランダム化が標準となり、ネットワーク対応推定器の使用が可能になった。 これらの推定器は、典型的には情報単位のサブセットのみを保持するようにデータをトリミングし、適切な条件下でバイアスを低くするが、しばしば高い分散に悩まされる。 本稿では,既存のネットワーク認識型推定器が必要とする微妙な再重み付けを回避するため,内部ノードを平均化して平均イン・イン・イン・イン・インター(MII)推定器を構築することを提案する。
  論文  参考訳（メタデータ） (2026-02-04T11:41:52Z)
• Scalable Multi-agent Covering Option Discovery based on Kronecker Graphs [49.71319907864573]
  本稿では,分解が容易なマルチエージェントスキル発見法を提案する。 我々のキーとなる考え方は、合同状態空間をクロネッカーグラフとして近似することであり、そのフィドラーベクトルを直接見積もることができる。 ラプラシアンスペクトルを直接計算することは、無限大の状態空間を持つタスクには難易度が高いことを考慮し、さらに本手法の深層学習拡張を提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:53:12Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Anomaly Detection by Recombining Gated Unsupervised Experts [0.0]
  本稿では,ARGUEと呼ばれる新しいデータ駆動型異常検出手法を提案する。 本手法は, 教師なし環境や半教師付き環境に適用できるだけでなく, 自己教師付き環境の事前知識から利益を得ることができる。
  論文  参考訳（メタデータ） (2020-08-31T17:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。