Fugu-MT 論文翻訳(概要): In-Context Learning Functions with Varying Number of Minima

論文の概要: In-Context Learning Functions with Varying Number of Minima

arxiv url: http://arxiv.org/abs/2311.12538v2
Date: Wed, 22 Nov 2023 08:44:34 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 11:38:08.473057
Title: In-Context Learning Functions with Varying Number of Minima
Title（参考訳）: 最小値の変数を持つ文脈内学習関数
Authors: David Oniani, Yanshan Wang
Abstract要約: 最小値の異なる関数を近似する新しいタスクを提案する。ミニマの数が増加するとICL性能が低下することがわかった。同時に、我々はICLが2層ニューラルネットワーク(2NN)モデルより優れていることを示した。
参考スコア（独自算出の注目度）: 3.3268674937926224
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have proven effective at In-Context Learning (ICL), an ability that allows them to create predictors from labeled examples. Few studies have explored the interplay between ICL and specific properties of functions it attempts to approximate. In our study, we use a formal framework to explore ICL and propose a new task of approximating functions with varying number of minima. We implement a method that allows for producing functions with given inputs as minima. We find that increasing the number of minima degrades ICL performance. At the same time, our evaluation shows that ICL outperforms 2-layer Neural Network (2NN) model. Furthermore, ICL learns faster than 2NN in all settings. We validate the findings through a set of few-shot experiments across various hyperparameter configurations.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ラベル付き例から予測子を作成することができるICL(In-Context Learning)で有効であることが証明されている。 ICLと近似しようとする関数の特定の性質との相互作用について研究する研究はほとんどない。そこで本研究では,ICLの探索に公式なフレームワークを用い,様々な最小値の関数を近似する新しいタスクを提案する。与えられた入力をミニマとして関数を生成できる手法を実装した。ミニマ数の増加はiclのパフォーマンスを低下させる。同時に、我々はICLが2層ニューラルネットワーク(2NN)モデルより優れていることを示した。さらに、ICLはすべての設定で2NNよりも高速に学習する。本研究は, 種々のハイパーパラメータ構成における数発の撮影実験を通して, 実験結果を検証した。

関連論文リスト

Can Custom Models Learn In-Context? An Exploration of Hybrid Architecture Performance on In-Context Learning Tasks [2.2665690736508894]
In-Context Learning (ICL) は、パラメータ更新を必要とせずに、プロンプトシーケンスを通じてタスク学習が行われる現象である。 GPT-2 と LLaMa と LlaMa と Mamba のアーキテクチャ的差異の影響について検討した。そこで本研究では,特定のタスクにおけるモデル全体の性能を示すスカラーメトリックである「ICL回帰スコア」を提案する。
論文参考訳（メタデータ） (2024-11-06T14:25:05Z)
Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-24T09:09:20Z)
Can In-context Learning Really Generalize to Out-of-distribution Tasks? [36.11431280689549]
本研究は,訓練中に遭遇したことのないアウト・オブ・ディストリビューション(OOD)課題に対する,イン・コンテクスト・ラーニング(ICL)のメカニズムについて検討した。我々は、トランスフォーマーがICLを通してOODタスク機能を学ぶのに苦労していることを明らかにする。
論文参考訳（メタデータ） (2024-10-13T02:10:26Z)
MILE: A Mutation Testing Framework of In-Context Learning Systems [5.419884861365132]
ICLシステムにおけるテストデータの品質と有効性を特徴付けるための突然変異試験フレームワークを提案する。まず、ICLの実証に特化しているいくつかの突然変異演算子と、ICLテストセットに対応する突然変異スコアを提案する。総合的な実験により、ICLテストスイートの信頼性と品質を評価する上で、我々のフレームワークの有効性を示す。
論文参考訳（メタデータ） (2024-09-07T13:51:42Z)
Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
論文参考訳（メタデータ） (2024-06-20T06:37:47Z)
Implicit In-context Learning [37.0562059811099]
In-context Learning (ICL)は、大規模な言語モデルに対して、テストクエリの前にいくつかの実演例をプレフィックスすることで、推論中に目に見えないタスクに適応する権限を与える。 Inlicit In-context Learning (I2CL)は、従来のICLにまつわる課題に、アクティベーション空間内の実演例を吸収することで対処する革新的なパラダイムである。 I2CLは、ゼロショットコストで数ショットのパフォーマンスを達成し、デモ例のバリエーションに対して堅牢性を示す。
論文参考訳（メタデータ） (2024-05-23T14:57:52Z)
Many-Shot In-Context Learning [58.395589302800566]
大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
論文参考訳（メタデータ） (2024-04-17T02:49:26Z)
ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
大規模言語モデル(LLM)が自然言語処理の標準となっている。インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-31T05:56:15Z)
Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文参考訳（メタデータ） (2023-09-30T14:04:22Z)
Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
論文参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。