論文の概要: How does representation impact in-context learning: A exploration on a
synthetic task
- arxiv url: http://arxiv.org/abs/2309.06054v1
- Date: Tue, 12 Sep 2023 08:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 13:52:05.556762
- Title: How does representation impact in-context learning: A exploration on a
synthetic task
- Title（参考訳）: 表現は文脈内学習にどのように影響するか--合成タスクの探索
- Authors: Jingwen Fu, Tao Yang, Yuwang Wang, Yan Lu, Nanning Zheng
- Abstract要約: インコンテキスト学習(In-context learning)、すなわちインコンテキストサンプルから学ぶことは、Transformerの素晴らしい能力である。
本研究では,表現学習の過小評価の観点から検討することを目的とする。
- 参考スコア（独自算出の注目度）: 46.73131236261085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning, i.e., learning from in-context samples, is an impressive
ability of Transformer. However, the mechanism driving the in-context learning
is not yet fully understood. In this study, we aim to investigate from an
underexplored perspective of representation learning. The representation is
more complex for in-context learning senario, where the representation can be
impacted by both model weights and in-context samples. We refer the above two
conceptually aspects of representation as in-weight component and in-context
component, respectively. To study how the two components affect in-context
learning capabilities, we construct a novel synthetic task, making it possible
to device two probes, in-weights probe and in-context probe, to evaluate the
two components, respectively. We demonstrate that the goodness of in-context
component is highly related to the in-context learning performance, which
indicates the entanglement between in-context learning and representation
learning. Furthermore, we find that a good in-weights component can actually
benefit the learning of the in-context component, indicating that in-weights
learning should be the foundation of in-context learning. To further understand
the the in-context learning mechanism and importance of the in-weights
component, we proof by construction that a simple Transformer, which uses
pattern matching and copy-past mechanism to perform in-context learning, can
match the in-context learning performance with more complex, best tuned
Transformer under the perfect in-weights component assumption. In short, those
discoveries from representation learning perspective shed light on new
approaches to improve the in-context capacity.
- Abstract（参考訳）: インコンテキスト学習、すなわちインコンテキストサンプルから学ぶことは、Transformerの素晴らしい能力である。
しかし、コンテキスト内学習を駆動するメカニズムはまだ完全には理解されていない。
本研究では,表現学習の未熟な視点から検討することを目的とする。
この表現は、モデル重みとコンテキスト内サンプルの両方で表現に影響を与えることができる、文脈内学習セナリオではより複雑である。
上述の2つの概念的表現的側面をそれぞれ、in-weight componentとin-context componentと呼ぶ。
この2つのコンポーネントがインコンテキスト学習能力にどのように影響するかを調べるために,新しい合成タスクを構築し,インウェイトプローブとインコンテキストプローブという2つのプローブをそれぞれ装置化し,その2つのコンポーネントを評価する。
本研究では,テキスト内学習と表現学習の絡み合いを示すインコンテキスト学習性能に,インコンテキストコンポーネントの良さが強く関係していることを示す。
さらに,優れたin-weightsコンポーネントがコンテキスト内コンポーネントの学習に有効であることから,in-weights学習がコンテキスト内学習の基礎となることが示唆された。
そこで本研究では,テキスト内学習機構とインウェイトコンポーネントの重要性をより深く理解するために,パターンマッチングとコピーパスト機構を併用したシンプルなトランスフォーマーが,インウェイトコンポーネントの前提の下で,より複雑で最適に調整されたトランスフォーマーに適合できることを示す。
要するに、表現学習の観点からのこれらの発見は、コンテキスト内能力を改善するための新しいアプローチに光を当てた。
関連論文リスト
- Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。
そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
論文 参考訳（メタデータ） (2024-10-30T14:09:00Z) - Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。
学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。
このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
論文 参考訳（メタデータ） (2024-09-05T17:58:28Z) - How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。
実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
論文 参考訳（メタデータ） (2024-06-05T08:51:08Z) - Interpretable Meta-Learning of Physical Systems [4.343110120255532]
最近のメタラーニング手法はブラックボックスニューラルネットワークに依存しており、計算コストが高く、解釈可能性も限られている。
我々は,学習課題に対するアフィン構造を持つ,より単純な学習モデルを用いて,マルチ環境の一般化を実現することができると論じる。
本稿では,物理系の最先端アルゴリズムと比較することにより,競合一般化性能と計算コストの低さを実証する。
論文 参考訳（メタデータ） (2023-12-01T10:18:50Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳（メタデータ） (2023-06-26T17:58:50Z) - The Learnability of In-Context Learning [16.182561312622315]
そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。
本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。
文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
論文 参考訳（メタデータ） (2023-03-14T13:28:39Z) - Comparison and Analysis of New Curriculum Criteria for End-to-End ASR [10.698093106994804]
カリキュラム学習は、知識の組織的で構造化された同化が、より速いトレーニングとより良い理解を可能にする能力を持つという観察に基づいて構築される。
我々は,自動音声認識の文脈でカリキュラム学習を採用する。
トレーニングセットに構造を付加するため、外部ニューラルネットワークからのフィードバックを利用するか、モデル自体からのフィードバックを取り入れる複数のスコアリング関数を探索した。
論文 参考訳（メタデータ） (2022-08-10T06:56:58Z) - What Can Transformers Learn In-Context? A Case Study of Simple Function
Classes [67.06980111346245]
インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。
我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。
また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
論文 参考訳（メタデータ） (2022-08-01T18:01:40Z) - Meta-learning using privileged information for dynamics [66.32254395574994]
Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。
シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
論文 参考訳（メタデータ） (2021-04-29T12:18:02Z) - A Combinatorial Perspective on Transfer Learning [27.7848044115664]
モジュラーソリューションの学習によって、目に見えない分散データと潜在的に異なる分散データの両方を効果的に一般化することができるかを検討する。
タスクセグメンテーション,モジュール型学習,メモリベースアンサンブルの組み合わせによって,指数関数的に増加する多くの未確認タスクの一般化がもたらされる。
論文 参考訳（メタデータ） (2020-10-23T09:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。