論文の概要: In Context Learning with Vision Transformers: Case Study
- arxiv url: http://arxiv.org/abs/2505.20872v1
- Date: Tue, 27 May 2025 08:22:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.50568
- Title: In Context Learning with Vision Transformers: Case Study
- Title（参考訳）: 視覚変換器を用いた文脈学習--事例研究
- Authors: Antony Zhao, Alex Proshkin, Fergal Hennessy, Francesco Crivelli,
- Abstract要約: 大規模なトランスモデルでは、コンテキスト内学習が可能であることが示されている。
我々は、これを画像空間に拡張して、より複雑な関数をインコンテキストで学習する能力を分析することを目指している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large transformer models have been shown to be capable of performing in-context learning. By using examples in a prompt as well as a query, they are capable of performing tasks such as few-shot, one-shot, or zero-shot learning to output the corresponding answer to this query. One area of interest to us is that these transformer models have been shown to be capable of learning the general class of certain functions, such as linear functions and small 2-layer neural networks, on random data (Garg et al, 2023). We aim to extend this to the image space to analyze their capability to in-context learn more complex functions on the image space, such as convolutional neural networks and other methods.
- Abstract（参考訳）: 大規模なトランスモデルでは、コンテキスト内学習が可能であることが示されている。
プロンプトの例とクエリを使用することで、少数ショット、ワンショット、ゼロショット学習などのタスクを実行して、クエリに対応する回答を出力することができる。
私たちが興味を持っている分野の一つは、これらのトランスフォーマーモデルが、ランダムデータ(Garg et al, 2023)に基づいて線形関数や小さな2層ニューラルネットワークといった特定の関数の一般クラスを学習できることである。
我々は、畳み込みニューラルネットワークなど、画像空間上のより複雑な関数をインコンテキストで学習する能力を分析するために、これを画像空間に拡張することを目指している。
関連論文リスト
- In-Context Learning with Representations: Contextual Generalization of Trained Transformers [66.78052387054593]
In-context Learning (ICL) は、事前訓練された大規模言語モデルの能力を指し、推論中にいくつか例を挙げると、新しいタスクを学習できる。
本稿では,非線形回帰タスクのレンズによる勾配降下による変圧器のトレーニングダイナミクスについて検討する。
論文 参考訳（メタデータ） (2024-08-19T16:47:46Z) - Understanding In-Context Learning in Transformers and LLMs by Learning
to Learn Discrete Functions [32.59746882017483]
本論文では,トランスフォーマーが一つのタスクを解くために2つの異なるアルゴリズムを実装することを学習できることを示す。
また,既存のLarge Language Models (LLMs) は,予測タスクにおいて最寄りのベースラインと競合することを示す。
論文 参考訳（メタデータ） (2023-10-04T17:57:33Z) - What Can Transformers Learn In-Context? A Case Study of Simple Function
Classes [67.06980111346245]
インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。
我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。
また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
論文 参考訳（メタデータ） (2022-08-01T18:01:40Z) - Vision Transformer with Convolutions Architecture Search [72.70461709267497]
本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。
VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。
これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
論文 参考訳（メタデータ） (2022-03-20T02:59:51Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳（メタデータ） (2020-08-26T17:23:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。