論文の概要: The Bell Boundary of Shared Representations
- arxiv url: http://arxiv.org/abs/2610.16828v1
- Date: Mon, 12 Oct 2026 14:09:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:22:39.600316
- Title: The Bell Boundary of Shared Representations
- Title(参考訳): 共有表現の鐘境界
- Abstract要約: 4つのバイナリタスク結果が共通共有表現で共同表現できるなら、それらの相関関係は古典的なCHSH境界$|S|leq2$を満たす必要がある。
実験により、キャパシティ依存の遷移が明らかになる。非自明なタスクフィッティングが出現すると、制約付きキャパシティは、|S|>2$ が得られる。
我々はCNN, PLM, LLM間の同様の遷移を観察し, この現象がNCnet設定を超えて広がることを示唆した。
- 参考スコア(独自算出の注目度): 21.844770874735303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When does a shared representation become insufficient for jointly supporting multiple tasks? This question lies at the heart of multi-task learning models. Although task interference in shared representations has been widely observed, its onset, measurable form, and capacity boundary remain poorly understood. In this paper, we revisit this problem through the lens of Bell's theorem. We show that if four binary task outcomes can be jointly represented by a common shared representation, their correlations must satisfy the classical CHSH bound $|S|\leq2$. We introduce NCnet, a controlled multi-task model for studying how representational capacity affects task compatibility. Experiments reveal a clear capacity-dependent transition. Once nontrivial task fitting emerges, constrained capacity can yield $|S|>2$. As capacity further increases, these exceedances progressively disappear and $S$ returns to the bounded region. This systematic pattern provides evidence that limited representational capacity is an important source of the observed incompatibility. We observe similar transitions across CNNs, PLMs, and LLMs, suggesting that the phenomenon extends beyond the controlled NCnet setting. We refer to this capacity-dependent transition as the Bell Boundary, providing a measurable diagnostic for representation bottlenecks, task incompatibility, and capacity allocation in multi-task models.
- Abstract(参考訳): 複数のタスクを共同で支援するには,共有表現が不十分になるのはいつか?
この問題はマルチタスク学習モデルの中心にある。
共有表現におけるタスク干渉は広く観測されているが、そのオンセット、測定可能な形式、キャパシティ境界は理解されていない。
本稿ではベルの定理のレンズを通してこの問題を再考する。
4つのバイナリタスク結果が共通共有表現で共同表現できるなら、それらの相関関係は古典的なCHSH境界$|S|\leq2$を満たす必要がある。
NCnetは,表現能力がタスクの互換性にどのように影響するかを研究するためのマルチタスクモデルである。
実験により、キャパシティ依存の遷移が明らかになる。
非自明なタスクフィッティングが現れると、制約付きキャパシティは$|S|>2$となる。
キャパシティがさらに大きくなると、これらの超越は徐々に消失し、$S$は有界領域に戻る。
この系統的なパターンは、限られた表現能力が観測された非互換性の重要な源であることを示す。
我々はCNN, PLM, LLM間の同様の遷移を観察し, この現象がNCnet設定を超えて広がることを示唆した。
この容量依存的な遷移をベル境界と呼び、マルチタスクモデルにおける表現ボトルネック、タスク非互換性、キャパシティアロケーションの計測可能な診断を提供する。
関連論文リスト
- Scaling Laws of Quantum Networks: An Entanglement Transport Framework [49.90994959548314]
エンタングルメント・トランスポートのスケーリングは,接続性だけでなく,資源集約や物理実装にも依存することを示す。
これらの例は、エンタングルメント-トランスポートスケーリングが接続性だけでなく、リソース集約や物理実装にも依存していることを示している。
論文 参考訳(メタデータ) (2026-09-30T13:16:17Z) - Seeing Is Not Deciding: Can Multimodal LLMs Act as Effective CEOs? [53.05042283845008]
C-SUITEBENCHは経営陣の意思決定のためのマルチモーダル・ベンチマークである。
我々は、最高経営責任者の役割に9つのモデルを設定し、意思決定能力を評価する。
視覚的ビジネス情報を追加することで、9つのモデルすべてに対する制約付きリソース割り当てが低下する。
論文 参考訳(メタデータ) (2026-08-06T10:43:33Z) - Capacity and Redundancy Trade-offs in Multi-Task Learning [0.9258421435949676]
マルチタスク学習(MTL)では、負の転送は最適化アーティファクトと見なされることが多いが、タスク冗長性の弱い結果と見なすこともできる。
本研究では,タスクごとの予測情報の総和を共同予測情報に分解するキャパシティ・冗長性(CR)IDを用いて,この効果について検討する。
i) クラスタ化共有に必要かつ十分な条件を与えるクラスタリングギャップ分解と,(ii) ガウスマルチタスクモデルにおける勾配コサイン類似性をプロキシとして正式に正当化する勾配-TCブリッジの2つの重要な結果を示す。
論文 参考訳(メタデータ) (2026-07-17T23:31:12Z) - Sparsity, Superposition, and Forgetting: A Mechanistic Study of Representation Retention in Continual Learning [6.113106953880908]
連続学習システムは、しばしば以前取得した知識を忘れる。
我々は, 忘れる機構を観察し, テスト可能にする, 制御されたおもちゃの世界フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-18T16:10:40Z) - On Observation Time for Recovering Latent Hawkes Networks [9.31692924352154]
工学、社会、自然における相互作用システムのダイナミクスは、どの実体が相互作用できるかを統治する潜在ネットワーク上で進化することが多い。
我々は、基礎となるネットワークを正確に回復するために、動的に観察しなければならない最小時間について尋ねる。
疎で弱い相互作用を持つ定常的なホークス過程のクラスでは、$log d$の観測時間が十分で必要であることが証明される。
論文 参考訳(メタデータ) (2026-05-08T19:06:26Z) - Crab$^{+}$: A Scalable and Unified Audio-Visual Scene Understanding Model with Explicit Cooperation [83.75249714794977]
我々は、スケーラブルで統一されたオーディオ視覚シーン理解モデルであるCrab$+$を提示する。
データ側では、AV-UIE v2(Audio-Visual Unified Instruction-tuning データセット)を導入します。
モデル側では、異種タスクの定式化を整合させる統一インターフェースを設計する。
タスクの88%近くにおいて、マルチタスク学習がシングルタスクベースラインを超えた場合、負の転送傾向を逆転させ、正の転送を実現した。
論文 参考訳(メタデータ) (2026-03-04T14:43:57Z) - A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。
我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。
我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
論文 参考訳(メタデータ) (2025-09-25T14:11:57Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z) - Task2Box: Box Embeddings for Modeling Asymmetric Task Relationships [19.02802837808466]
ボックス埋め込みを用いたタスク表現手法であるTask2Boxを提案する。
Task2Box は ImageNet と iNaturalist のデータセットのノード間の階層的関係を正確に予測する。
また,タスク表現から推定したボックス埋め込みを,同じ表現で訓練された分類器よりも正確に関係を予測できることを示す。
論文 参考訳(メタデータ) (2024-03-25T20:39:58Z) - Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [58.96953392466609]
エージェント相互作用の現代的表現の因果認識を詳細に検討する。
近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。
本稿では,因果アノテーションを用いて潜在表現を規則化するメトリクス学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-07T18:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。