論文の概要: Shortcut Learning in In-Context Learning: A Survey

• arxiv url: http://arxiv.org/abs/2411.02018v2
• Date: Thu, 28 Nov 2024 11:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:17:45.897715
• Title: Shortcut Learning in In-Context Learning: A Survey
• Title（参考訳）: 文脈内学習におけるショートカット学習 : 調査
• Authors: Rui Song, Yingji Li, Lida Shi, Fausto Giunchiglia, Hao Xu,
• Abstract要約: ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて、単純で非破壊的な決定ルールを採用する現象を指す。 In-Context Learning(ICL)におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 16.324397674149626
• License:
• Abstract: Shortcut learning refers to the phenomenon where models employ simple, non-robust decision rules in practical tasks, which hinders their generalization and robustness. With the rapid development of large language models (LLMs) in recent years, an increasing number of studies have shown the impact of shortcut learning on LLMs. This paper provides a novel perspective to review relevant research on shortcut learning in In-Context Learning (ICL). It conducts a detailed exploration of the types of shortcuts in ICL tasks, their causes, available benchmarks, and strategies for mitigating shortcuts. Based on corresponding observations, it summarizes the unresolved issues in existing research and attempts to outline the future research landscape of shortcut learning.
• Abstract（参考訳）: ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて単純で非破壊的な決定ルールを採用する現象であり、その一般化と堅牢性を妨げている。 近年の大規模言語モデル (LLM) の急速な発展に伴い, ショートカット学習がLLMに与える影響が増加している。 In-Context Learning(ICL)におけるショートカット学習に関する研究をレビューするための新しい視点を提供する。 ICLタスクのショートカットの種類、その原因、利用可能なベンチマーク、およびショートカットを緩和するための戦略を詳細に調査する。 既存の研究における未解決の問題を要約し、ショートカット学習の今後の研究展望を概説する。

関連論文リスト

• Navigating the Shortcut Maze: A Comprehensive Analysis of Shortcut Learning in Text Classification by Language Models [20.70050968223901]
  この研究は、過度に単純化されたショートカットを超えてモデルの信頼性を損なう微妙で複雑なショートカットの影響を克服する。 ショートカットを発生、スタイル、概念に分類する包括的なベンチマークを導入する。 本研究は,洗練されたショートカットに対するモデルの弾力性と感受性を系統的に検討する。
  論文  参考訳（メタデータ） (2024-09-26T01:17:42Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Learning Shortcuts: On the Misleading Promise of NLU in Language Models [4.8951183832371]
  大規模言語モデル(LLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、LLMはタスクの実行時にショートカットを利用することが多く、その決定規則の一般化性に欠けると同時に、性能向上の錯覚を生んでいることが判明している。
  論文  参考訳（メタデータ） (2024-01-17T21:55:15Z)
• Large Language Models Can be Lazy Learners: Analyze Shortcuts in In-Context Learning [28.162661418161466]
  大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。 本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。 より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
  論文  参考訳（メタデータ） (2023-05-26T20:56:30Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension [34.400234717524306]
  我々は,ハイレベルな言語理解を示す重要な課題である,機械読解(MRC)の分野に焦点をあてる。 MRCにおけるショートカット緩和の懸念点として,(1)公共チャレンジセットの欠如,2)有効かつ再利用可能な評価に必要な要素,(2)他の領域で顕著な特定の緩和手法の欠如,の2点を挙げる。
  論文  参考訳（メタデータ） (2022-09-05T08:19:26Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。