論文の概要: Paired Multimodal Scaling Laws

• arxiv url: http://arxiv.org/abs/2609.36263v1
• Date: Mon, 28 Sep 2026 20:51:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.01117
• Title: Paired Multimodal Scaling Laws
• Title（参考訳）: ペア付きマルチモーダルスケーリング法則
• Abstract要約: マルチモーダル分類タスクにおいて,ペアデータ数の変化が損失曲線に与える影響について検討する。 データの総損失が4つの個別の電力法則の総和となる多モードスケーリング法則を新たに導入する。
• 参考スコア（独自算出の注目度）: 40.89214211901098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multimodal scaling laws fit multimodality terms empirically after testing and never vary how much data is multimodally paired at fixed data budgets. We investigate how, under the same total data per modality, changing the number of paired data affects loss curves in multimodal classification tasks. We train models in three different environments and run experiment sweeps varying data sizes and pairing budget. Pairing ratios have a dramatic impact on loss and this impact is directly tied to how much information synergy the task contains. Only paired data is able to reduce synergistic loss, while unpaired data can reduce redundant or unimodal information up until unimodal floors. Unlike traditional scaling laws where loss drops immediately in power law decay, synergy acquisition is gated, requiring a critical threshold of paired data before synergistic loss falls at all. We introduce a new family of multimodal scaling laws where total data-attributable loss is the sum of four individual power laws corresponding to the four different information channels of redundancy, a unique channel per modality, and synergy, and show how this law is both more theoretically sound and empirically valid across our experiments. This law predicts multimodal loss in our experiments more accurately than existing laws, with 3.2% error on fit tests versus 10.4% error for the best pairing extension of published laws.
• Abstract（参考訳）: 既存のマルチモーダルスケーリング法則は、テスト後に経験的にマルチモーダルな用語に適合し、固定データ予算でマルチモーダルなペアがどれだけあるかは変わらない。 マルチモーダル分類タスクにおいて,同じモーダル毎の総データの下で,ペアデータ数の変更が損失曲線に与える影響について検討する。 3つの異なる環境でモデルをトレーニングし、さまざまなデータサイズとペアリング予算の実験を行います。 ペアリング比率は損失に劇的な影響を与え、この影響はタスクのシナジーの量に直接関係している。 ペア化されたデータだけが相乗的損失を低減できる一方で、ペアなしのデータは不動床まで冗長または不動情報を低減できる。 電力法則の崩壊で損失がすぐに減少する従来のスケーリング法とは異なり、シナジー獲得は、相乗的損失が全く落ちる前にペアデータの重要なしきい値を必要とする。 本研究では,データ帰属損失が,冗長性の4つの異なる情報チャネル,モダリティ毎のユニークなチャネル,シナジーに対応する4つの個別の電力法則の総和となる,新たなマルチモーダルスケーリング法則を導入し,この法則が実験においてより理論的に健全かつ経験的に有効であることを示す。 この法則は、我々の実験における多重モード損失を、既存の法則よりも正確に予測し、適合試験における3.2%の誤差と、公表された法則の最高のペアリング拡張に対する10.4%の誤差がある。

関連論文リスト

• When do data mixtures improve scaling laws? Insights from high-dimensional regression [27.0471650610245]
  共有回帰関数を持つ高次元混合データ回帰モデルについて検討する。 我々は、アライメントされたパワーロー共分散スペクトルを持つ対象領域と補助領域に特化する。 適切なデータ混合は、どちらのドメイン単独でのトレーニングよりも、ターゲットドメインのテスト損失がより速く減少することを発見した。
  論文  参考訳（メタデータ） (2026-09-29T16:59:23Z)
• Practical Scaling Laws: Converting Compute into Performance in a Data-Constrained World [4.6607470395685215]
  チンチラの$L = E + A/N+ B/D$は、主要なスケーリング法則形式であるが、非インフォームベースラインで飽和するのではなく、ユニークなデータが縮小するにつれて分散する。 本稿では,損失を低容量化,減量化,過度化に分解する閉形式拡張を提案する。 視覚、科学ML、言語ドメインの4つのマルチエポックな実験で検証する。
  論文  参考訳（メタデータ） (2026-05-09T22:07:01Z)
• DecepGPT: Schema-Driven Deception Detection with Multicultural Datasets and Robust Multimodal Learning [64.33887406863899]
  マルチモーダル偽装検出は、法医学とセキュリティのための聴覚的手がかりを解析することにより、偽装行動を特定することを目的としている。 既存のベンチマークでは、中間的な推論手段を使わずにバイナリラベルのみを提供する。 構造的キューレベルの記述と推論チェーンを用いた推論データセットを構築した。 1695年のサンプルでは、非実験的偽装検出データセットとしては最大である。
  論文  参考訳（メタデータ） (2026-03-25T04:06:36Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Loss-to-Loss Prediction: Scaling Laws for All Datasets [17.078832037614397]
  我々は、ある損失を別の損失から予測し、異なる事前学習データセットにわたって予測するためにそれを適用する戦略を導出する。 我々の予測は、曲線に合わせるのに使われた最大のFLOP予算の20倍でさえ、よく表される。
  論文  参考訳（メタデータ） (2024-11-19T23:23:16Z)
• Double Descent and Overfitting under Noisy Inputs and Distribution Shift for Linear Denoisers [3.481985817302898]
  教師付き denoising を研究する上での懸念は,テスト分布からのノイズレストレーニングデータが常に存在するとは限らないことだ。 そこで本研究では,分散シフト下での教師付きノイズ除去とノイズインプット回帰について検討した。
  論文  参考訳（メタデータ） (2023-05-26T22:41:40Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
  近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。 本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T15:49:01Z)
• Explaining Neural Scaling Laws [17.115592382420626]
  訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
  論文  参考訳（メタデータ） (2021-02-12T18:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。