論文の概要: Rethinking Invariance in In-context Learning

• arxiv url: http://arxiv.org/abs/2505.04994v1
• Date: Thu, 08 May 2025 06:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.780212
• Title: Rethinking Invariance in In-context Learning
• Title（参考訳）: 文脈内学習における不変性の再考
• Authors: Lizhe Fang, Yifei Wang, Khashayar Gatmiry, Lei Fang, Yisen Wang,
• Abstract要約: In-Context Learning (ICL)は、自動回帰型大規模言語モデルの重要な機能として登場した。 相互独立に拘わらず、文脈例の順序に顕著な敏感さが妨げられている。 本研究では,不変ICLアルゴリズムの設計における2つの重要な要素を同定する。
• 参考スコア（独自算出の注目度）: 31.27174483063626
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-Context Learning (ICL) has emerged as a pivotal capability of auto-regressive large language models, yet it is hindered by a notable sensitivity to the ordering of context examples regardless of their mutual independence. To address this issue, recent studies have introduced several variant algorithms of ICL that achieve permutation invariance. However, many of these do not exhibit comparable performance with the standard auto-regressive ICL algorithm. In this work, we identify two crucial elements in the design of an invariant ICL algorithm: information non-leakage and context interdependence, which are not simultaneously achieved by any of the existing methods. These investigations lead us to the proposed Invariant ICL (InvICL), a methodology designed to achieve invariance in ICL while ensuring the two properties. Empirically, our findings reveal that InvICL surpasses previous models, both invariant and non-invariant, in most benchmark datasets, showcasing superior generalization capabilities across varying input lengths. Code is available at https://github.com/PKU-ML/InvICL.
• Abstract（参考訳）: In-Context Learning (ICL) は、自動回帰型大規模言語モデルの重要機能として浮上しているが、相互独立性に関係なく、文脈例の順序付けに顕著な敏感さによって妨げられている。 この問題に対処するため、近年の研究では、置換不変性を実現するためのICLの変種アルゴリズムがいくつか導入されている。 しかし、これらの多くは、標準の自己回帰型ICLアルゴリズムと同等の性能を示していない。 本研究では,不変ICLアルゴリズムの設計において重要な要素として,情報非推論とコンテキスト相互依存性の2つを同定する。 これらの調査から,2つの特性を保証しつつ,ICLの不変性を実現する手法である不変ICC (InvICL) が提案されている。 InvICLは、ほとんどのベンチマークデータセットにおいて、不変モデルと非不変モデルの両方を上回り、様々な入力長にまたがる優れた一般化能力を示す。 コードはhttps://github.com/PKU-ML/InvICLで入手できる。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Implicit In-context Learning [37.0562059811099]
  Inlicit In-context Learning (I2CL)は、ICLの推論コストを最小限の情報損失でゼロショット学習に還元する革新的なパラダイムである。 I2CLはゼロショット推論コストで数ショットレベルのパフォーマンスを実現し、実演例のバリエーションに対して堅牢性を示す。
  論文  参考訳（メタデータ） (2024-05-23T14:57:52Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Positional Information Matters for Invariant In-Context Learning: A Case Study of Simple Function Classes [39.08988313527199]
  インコンテキストラーニング(In-context Learning, ICL)とは、新しいクエリ入力に対する応答を生成するために、いくつかのインコンテキストデモでモデルに条件を付ける能力である。 LLMの印象的なICL能力にもかかわらず、LSMのICLは入力デモに敏感であり、短い文脈長に限定されている。
  論文  参考訳（メタデータ） (2023-11-30T02:26:55Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Learning Invariant Representations using Inverse Contrastive Loss [34.93395633215398]
  興味のある変数に不変な学習表現に対して,損失のクラスを導入する。 外部変数がバイナリである場合、iclの最適化は正規化mmd分岐の最適化と同値であることを示す。
  論文  参考訳（メタデータ） (2021-02-16T18:29:28Z)
• Joint Contrastive Learning with Infinite Possibilities [114.45811348666898]
  本稿では,新しい確率論的モデリングによるコントラスト学習における最近の発展の有用性について考察する。 コントラスト学習(Joint Contrastive Learning, JCL)という,コントラスト学習の特定の形態を導出する。
  論文  参考訳（メタデータ） (2020-09-30T16:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。