論文の概要: Contextures: The Mechanism of Representation Learning

• arxiv url: http://arxiv.org/abs/2504.19792v1
• Date: Mon, 28 Apr 2025 13:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.450459
• Title: Contextures: The Mechanism of Representation Learning
• Title（参考訳）: 文脈:表現学習のメカニズム
• Authors: Runtian Zhai,
• Abstract要約: 論文は、表現学習または事前学習のメカニズムを数学的に特徴づける文脈理論を確立する。 中心的な議論は、表現が入力Xと文脈変数Aの関連から学習されることである。 本研究では,教師付き学習,自己指導型学習,生成モデルなど,事前学習対象がコンテキストを学習できることを実証する。
• 参考スコア（独自算出の注目度）: 3.7257289916860152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This dissertation establishes the contexture theory to mathematically characterize the mechanism of representation learning, or pretraining. Despite the remarkable empirical success of foundation models, it is not very clear what representations they learn, and why these representations are useful for various downstream tasks. A scientific understanding of representation learning is critical, especially at this point when scaling up the model size is producing diminishing returns, and designing new pretraining methods is imperative for further progress. Prior work treated different representation learning methods quite differently, whereas the contexture theory provides a unified framework for analyzing these methods. The central argument is that a representation is learned from the association between the input X and a context variable A. We prove that if an encoder captures the maximum information of this association, in which case we say that the encoder learns the contexture, then it will be optimal on the class of tasks that are compatible with the context. We also show that a context is the most useful when the association between X and A is neither too strong nor too weak. The important implication of the contexture theory is that increasing the model size alone will achieve diminishing returns, and further advancements require better contexts. We demonstrate that many pretraining objectives can learn the contexture, including supervised learning, self-supervised learning, generative models, etc. Then, we introduce two general objectives -- SVME and KISE, for learning the contexture. We also show how to mix multiple contexts together, an effortless way to create better contexts from existing ones. Then, we prove statistical learning bounds for representation learning. Finally, we discuss the effect of the data distribution shift from pretraining to the downstream task.
• Abstract（参考訳）: この論文は、表現学習または事前学習のメカニズムを数学的に特徴づける文脈理論を確立している。 基礎モデルの顕著な実証的な成功にもかかわらず、彼らがどのような表現を学んだのか、なぜこれらの表現が下流の様々なタスクに役に立つのかは明らかになっていない。 表現学習の科学的理解は、特にモデルサイズのスケールアップがリターンの減少を招き、新しい事前学習手法を設計することがさらなる進歩に不可欠であるときに重要である。 先行研究は異なる表現学習手法を全く異なる方法で扱ったが、文脈理論はこれらの手法を解析するための統一的な枠組みを提供する。 エンコーダがこのアソシエーションの最大情報をキャプチャして、エンコーダがコンテキストを学習したと言う場合、コンテキストと互換性のあるタスクのクラスで最適であることを示す。 また、X と A の関連が強すぎても弱すぎても、文脈が最も有用であることを示す。 文脈理論の重要な意味は、モデルサイズの増大だけでは減少するリターンを達成でき、さらなる進歩はより良いコンテキストを必要とすることである。 本研究では,教師付き学習,自己指導型学習,生成モデルなど,事前学習対象がコンテキストを学習できることを実証する。 次に,その文脈を学習するために,SVMEとKISEという2つの汎用的目標を導入する。 また、既存のコンテキストからより良いコンテキストを作成するために、複数のコンテキストを混在させる方法も示しています。 そして,表現学習における統計的学習境界を証明した。 最後に、事前学習から下流タスクへのデータ分散シフトの効果について論じる。

関連論文リスト

• ICLR: In-Context Learning of Representations [19.331483579806623]
  文脈の規模が拡大するにつれて、事前訓練された意味表現から、グラフ構造に整合した文脈内表現への突然の再構成が存在することを示す。 以上の結果から,拡張コンテキストサイズはモデル表現を柔軟に再構成し,新たな能力を解き放つ可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-29T18:58:09Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• A Theory of Emergent In-Context Learning as Implicit Structure Induction [8.17811111226145]
  大きな言語モデルをスケールすると、実例からコンテキスト内で学習する能力が創発的になる。 文脈内学習は、自然言語データにみられる合成操作の組換えに依拠していると論じる。 入力の合成構造の表現によって、文脈内学習がどうサポートされるかを示す。
  論文  参考訳（メタデータ） (2023-03-14T15:24:05Z)
• The Learnability of In-Context Learning [16.182561312622315]
  そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。 本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。 文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
  論文  参考訳（メタデータ） (2023-03-14T13:28:39Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。