Fugu-MT 論文翻訳(概要): Re-examining learning linear functions in context

論文の概要: Re-examining learning linear functions in context

arxiv url: http://arxiv.org/abs/2411.11465v1
Date: Mon, 18 Nov 2024 10:58:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-19 14:35:28.080984
Title: Re-examining learning linear functions in context
Title（参考訳）: 文脈における学習線形関数の再検討
Authors: Omar Naim, Guilhem Fouilhé, Nicholas Asher,
Abstract要約: 文脈学習(ICL)は、幅広い問題を解決するための魅力的な方法である。我々は、異なるサイズでスクラッチからトレーニングされたいくつかのトランスフォーマーモデルに対して、さまざまなトレインおよびテスト設定でICLについて検討する。
参考スコア（独自算出の注目度）: 1.8843687952462742
License:
Abstract: In context learning (ICL) is an attractive method of solving a wide range of problems. Inspired by Garg et al. (2022), we look closely at ICL in a variety of train and test settings for several transformer models of different sizes trained from scratch. Our study complements prior work by pointing out several systematic failures of these models to generalize to data not in the training distribution, thereby showing some limitations of ICL. We find that models adopt a strategy for this task that is very different from standard solutions.
Abstract（参考訳）: 文脈学習(ICL)は、幅広い問題を解決するための魅力的な方法である。 Garg et al (2022)にインスパイアされた私たちは、さまざまなサイズのトランスフォーマーモデルのさまざまな列車およびテスト設定において、ICLを綿密に検討した。本研究は、トレーニング分布にないデータに一般化するため、これらのモデルのいくつかの系統的な失敗を指摘し、ICLのいくつかの制限を示すことによって、先行研究を補完する。標準ソリューションとは大きく異なるこのタスクに対して,モデルが戦略を採用することが分かっています。

関連論文リスト

ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
論文参考訳（メタデータ） (2024-10-01T12:58:37Z)
Examining Changes in Internal Representations of Continual Learning Models Through Tensor Decomposition [5.01338577379149]
連続学習(CL)は、逐次学習にまたがる過去の知識の統合を目的としたいくつかの手法の開発を加速させた。 CLモデルのための表現に基づく新しい評価フレームワークを提案する。
論文参考訳（メタデータ） (2024-05-06T07:52:44Z)
On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
Joint Problems in Learning Multiple Dynamical Systems [8.405361894357359]
時系列のクラスタリングはよく研究されている問題であり、代謝物濃度から得られる代謝の定量的にパーソナライズされたモデルから、量子情報理論における状態判別まで幅広い応用がある。我々は,一組のトラジェクトリと複数のパーツを与えられた場合,各パーツのトラジェクトリと線形力学系(LDS)モデルを共同で分割し,全てのモデルにおける最大誤差を最小化するために検討する。本稿では,グローバル収束法とEMを,有望な計算結果とともに提示する。
論文参考訳（メタデータ） (2023-11-03T18:16:00Z)
A Competitive Learning Approach for Specialized Models: A Solution for Complex Physical Systems with Distinct Functional Regimes [0.0]
本稿では,物理システムのデータ駆動モデルを得るための新たな競合学習手法を提案する。提案手法の背景にある基本的な考え方は、データに基づいて同時にトレーニングされたモデルの集合に対して、動的損失関数を使用することである。
論文参考訳（メタデータ） (2023-07-19T23:29:40Z)
RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文参考訳（メタデータ） (2023-05-23T20:15:56Z)
Multi-model Ensemble Learning Method for Human Expression Recognition [31.76775306959038]
本研究では,大量の実生活データを収集するアンサンブル学習法に基づく手法を提案する。 ABAW2022 ChallengeのAffWild2データセット上で多くの実験を行い、本ソリューションの有効性を実証した。
論文参考訳（メタデータ） (2022-03-28T03:15:06Z)
Discovering Diverse Solutions in Deep Reinforcement Learning [84.45686627019408]
強化学習アルゴリズムは通常、特定のタスクの単一のソリューションを学ぶことに限定される。連続的あるいは離散的な低次元潜在変数に条件付きポリシーを訓練することにより、無限に多くの解を学習できるRL法を提案する。
論文参考訳（メタデータ） (2021-03-12T04:54:31Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)
FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2019-12-29T15:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。