論文の概要: Contextures: Representations from Contexts

• arxiv url: http://arxiv.org/abs/2505.01557v1
• Date: Fri, 02 May 2025 19:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.172372
• Title: Contextures: Representations from Contexts
• Title（参考訳）: コンテキスト: コンテキストからの表現
• Authors: Runtian Zhai, Kai Yang, Che-Ping Tsai, Burak Varici, Zico Kolter, Pradeep Ravikumar,
• Abstract要約: 入力と文脈変数の関連性から学習することで,多種多様な表現学習手法を特徴付けることができることを示す。 多くの一般的な手法は、文脈によって誘導される期待作用素のトップd特異関数を近似することを目的としている。 また、文脈を学習する表現が文脈と互換性のあるタスクに対して最適であることを示す。
• 参考スコア（独自算出の注目度）: 31.21738569535616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the empirical success of foundation models, we do not have a systematic characterization of the representations that these models learn. In this paper, we establish the contexture theory. It shows that a large class of representation learning methods can be characterized as learning from the association between the input and a context variable. Specifically, we show that many popular methods aim to approximate the top-d singular functions of the expectation operator induced by the context, in which case we say that the representation learns the contexture. We demonstrate the generality of the contexture theory by proving that representation learning within various learning paradigms -- supervised, self-supervised, and manifold learning -- can all be studied from such a perspective. We also prove that the representations that learn the contexture are optimal on those tasks that are compatible with the context. One important implication of the contexture theory is that once the model is large enough to approximate the top singular functions, further scaling up the model size yields diminishing returns. Therefore, scaling is not all we need, and further improvement requires better contexts. To this end, we study how to evaluate the usefulness of a context without knowing the downstream tasks. We propose a metric and show by experiments that it correlates well with the actual performance of the encoder on many real datasets.
• Abstract（参考訳）: 基礎モデルの実証的な成功にもかかわらず、これらのモデルが学習する表現の体系的な特徴は持っていない。 本稿では,文脈論を確立する。 その結果,多種多様な表現学習手法が,入力と文脈変数の関連性から学習できることが示唆された。 具体的には、多くの一般的な手法が、文脈によって誘導される期待作用素のトップd特異関数を近似することを目的としており、その場合、表現が文脈を学習すると言う。 このような観点から、様々な学習パラダイムにおける表現学習(教師付き、自己教師型、多様体学習)がすべて研究可能であることを証明し、文脈理論の一般化を実証する。 また、文脈を学習する表現が文脈と互換性のあるタスクに対して最適であることを示す。 文脈理論の重要な意味の一つは、モデルが上位特異関数を近似するのに十分な大きさであれば、モデルのサイズを拡大すると、還元が減少するということである。 したがって、スケーリングは必要なすべてではなく、さらなる改善にはより良いコンテキストが必要です。 そこで本研究では,下流タスクを知らずにコンテキストの有用性を評価する方法について検討する。 本稿では,多くの実データセット上でのエンコーダの実際の性能とよく相関する指標を提案し,実験により示す。

関連論文リスト

• Contextures: The Mechanism of Representation Learning [3.7257289916860152]
  論文は、表現学習または事前学習のメカニズムを数学的に特徴づける文脈理論を確立する。 中心的な議論は、表現が入力Xと文脈変数Aの関連から学習されることである。 本研究では,教師付き学習,自己指導型学習,生成モデルなど,事前学習対象がコンテキストを学習できることを実証する。
  論文  参考訳（メタデータ） (2025-04-28T13:36:28Z)
• How to Probe: Simple Yet Effective Techniques for Improving Post-hoc Explanations [69.72654127617058]
  ポストホック重要属性法は、ディープニューラルネットワーク(DNN)を"説明"するための一般的なツールである この研究において、我々はこの概念に挑戦する経験的証拠を提示する。 トレーニング済みモデルの分類レイヤのトレーニング詳細が重要な役割を果たすことを示す。
  論文  参考訳（メタデータ） (2025-03-01T22:25:11Z)
• Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
  観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。 本研究では,観測データからこのような表現を学習するための学習手法を開発した。 理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-10-21T02:18:35Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。