論文の概要: Understanding Simplicity Bias towards Compositional Mappings via Learning Dynamics

• arxiv url: http://arxiv.org/abs/2409.09626v1
• Date: Sun, 15 Sep 2024 06:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 19:58:08.827252
• Title: Understanding Simplicity Bias towards Compositional Mappings via Learning Dynamics
• Title（参考訳）: 学習ダイナミクスによる構成的マッピングへのシンプルさバイアスの理解
• Authors: Yi Ren, Danica J. Sutherland,
• Abstract要約: 異なる視点から構成写像の特異性について検討する。 この性質は、そのような写像を持つモデルがうまく一般化できる理由を説明する。 単純性バイアスは通常、勾配降下によるニューラルネットワークトレーニングの本質的な特性を示す。
• 参考スコア（独自算出の注目度）: 20.720113883193765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Obtaining compositional mappings is important for the model to generalize well compositionally. To better understand when and how to encourage the model to learn such mappings, we study their uniqueness through different perspectives. Specifically, we first show that the compositional mappings are the simplest bijections through the lens of coding length (i.e., an upper bound of their Kolmogorov complexity). This property explains why models having such mappings can generalize well. We further show that the simplicity bias is usually an intrinsic property of neural network training via gradient descent. That partially explains why some models spontaneously generalize well when they are trained appropriately.
• Abstract（参考訳）: 構成写像の取得は、モデルをよく構成的に一般化する上で重要である。 モデルがそのようなマッピングをいつ、どのように学習するかをよりよく理解するために、異なる視点でそれらのユニークさを研究します。 具体的には、合成写像が符号化長のレンズ(すなわち、コルモゴロフ複雑性の上界)を通して最も単純な単射であることを示す。 この性質は、そのような写像を持つモデルがうまく一般化できる理由を説明する。 さらに、単純性バイアスは通常、勾配降下によるニューラルネットワークトレーニングの本質的な特性であることを示す。 これは、あるモデルが適切に訓練されたときに自然に一般化する理由を部分的に説明している。

関連論文リスト

• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Towards Understanding the Relationship between In-context Learning and Compositional Generalization [7.843029855730508]
  私たちは、通常の学習を非常に難しい設定で因果変換器を訓練します。 しかし、このモデルは、初期の例を利用して、後の例に一般化することで、タスクを解くことができる。 データセット、SCAN、COGS、GeoQueryの評価では、この方法でトレーニングされたモデルは、実際に合成の一般化の改善を示している。
  論文  参考訳（メタデータ） (2024-03-18T14:45:52Z)
• Simplicity in Complexity : Explaining Visual Complexity using Deep Segmentation Models [6.324765782436764]
  画像のセグメントベース表現を用いた複雑性のモデル化を提案する。 この2つの特徴を6つの多様な画像集合にまたがる単純な線形モデルにより,複雑性がよく説明できることがわかった。
  論文  参考訳（メタデータ） (2024-03-05T17:21:31Z)
• Neural Redshift: Random Networks are not Random Functions [28.357640341268745]
  NNには固有の「単純さバイアス」がないことを示す。 代替アーキテクチャは、あらゆるレベルの複雑さに対してバイアスで構築することができる。 これは、トレーニングされたモデルによって実装されたソリューションを制御するための有望な道を指す。
  論文  参考訳（メタデータ） (2024-03-04T17:33:20Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。