論文の概要: Understanding In-Context Learning from Repetitions

• arxiv url: http://arxiv.org/abs/2310.00297v1
• Date: Sat, 30 Sep 2023 08:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 05:20:40.913016
• Title: Understanding In-Context Learning from Repetitions
• Title（参考訳）: 繰り返しからの文脈内学習の理解
• Authors: Jianhao Yan, Jin Xu, Chiyu Song, Chenming Wu, Yafu Li, Yue Zhang
• Abstract要約: 本稿では,Large Language Models(LLMs)における文脈内学習の基盤となる概念的メカニズムについて考察する。 テキスト生成における表面的特徴の役割を定量的に検討し,エフェトケン共起強化の存在を実証的に確立する。 これらの特徴の二重的影響を調査することにより、本研究は、文脈内学習の内部動作を照らし、その失敗の原因について解説する。
• 参考スコア（独自算出の注目度）: 21.28694573253979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the elusive mechanism underpinning in-context learning in Large Language Models (LLMs). Our work provides a novel perspective by examining in-context learning via the lens of surface repetitions. We quantitatively investigate the role of surface features in text generation, and empirically establish the existence of \emph{token co-occurrence reinforcement}, a principle that strengthens the relationship between two tokens based on their contextual co-occurrences. By investigating the dual impacts of these features, our research illuminates the internal workings of in-context learning and expounds on the reasons for its failures. This paper provides an essential contribution to the understanding of in-context learning and its potential limitations, providing a fresh perspective on this exciting capability.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における文脈内学習を支える概念的メカニズムについて考察する。 我々の研究は、表面繰り返しのレンズを通してコンテキスト内学習を調べることによって、新しい視点を提供する。 テキスト生成における表層特徴の役割を定量的に検討し,文脈的共起に基づいて2つのトークン間の関係を強める原理である<emph{token co-occurrence reinforcement} の存在を実証的に確立する。 これらの特徴の二重的影響を調査することにより、本研究は、文脈内学習の内部動作を照らし、その失敗の原因について解説する。 本稿では,文脈内学習とその潜在的な限界を理解する上で重要な貢献をし,このエキサイティングな能力について新たな視点を提供する。

関連論文リスト

• Argumentation and Machine Learning [4.064849471241967]
  本章では,計算論と機械学習のクロス・フェーティフィケーションのある程度のアプローチを提示する研究の概要を紹介する。 これら2つの領域間の相互作用の目的を表す2つの広いテーマが同定された。 我々は,学習の種類や議論フレームワークの形式など,様々な次元にわたる作品のスペクトルを評価する。
  論文  参考訳（メタデータ） (2024-10-31T08:19:58Z)
• Investigating Expert-in-the-Loop LLM Discourse Patterns for Ancient Intertextual Analysis [0.0]
  この研究は、大きな言語モデルがテキスト間の直接引用、暗示、エコーを検出することを実証している。 このモデルは、長いクエリパスと、偽のテキスト間の依存を含めることに苦労する。 提案するプリンシパル・イン・ザ・ループ手法は、テキスト間研究にスケーラブルなアプローチを提供する。
  論文  参考訳（メタデータ） (2024-09-03T13:23:11Z)
• Exploring Continual Learning of Compositional Generalization in NLI [24.683598294766774]
  本稿では,C2Gen NLI(Continuous Composal Generalization in Inference)の課題を紹介する。 モデルは、合成推論の基礎として原始推論タスクを構成する知識を継続的に取得する。 分析の結果,依存関係を観察しながらサブタスクを継続的に学習し,難易度を増大させることで,連続学習が構成一般化能力を高めることが示唆された。
  論文  参考訳（メタデータ） (2024-03-07T10:54:27Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• The Mystery of In-Context Learning: A Comprehensive Survey on Interpretation and Analysis [20.142154624977582]
  In-context Learning (ICL) 機能により、大規模な言語モデルが実演例を通じて習熟できる。 本稿では,文脈内学習の解釈と分析について,徹底的な調査を行う。 我々は,本研究が,文脈内学習の解釈のさらなる探求の基盤となると信じている。
  論文  参考訳（メタデータ） (2023-11-01T02:40:42Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• Learning to Express in Knowledge-Grounded Conversation [62.338124154016825]
  本稿では,知識表現の2つの側面,すなわち各部分における内容の応答構造とスタイルについて考察する。 本稿では, セグメンテーションに基づく生成モデルを提案し, 応答における知識表現の基盤となるパターンを発見するために, 変動的アプローチを用いてモデルを最適化する。
  論文  参考訳（メタデータ） (2022-04-12T13:43:47Z)
• Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition [60.36540008537054]
  本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。 両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。 7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
  論文  参考訳（メタデータ） (2021-05-13T12:27:35Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)
• Summarizing Text on Any Aspects: A Knowledge-Informed Weakly-Supervised Approach [89.56158561087209]
  文書に関連する任意の側面を要約する。 監視データがないため、我々は新しい弱い監督構築法とアスペクト・モデリング・スキームを開発した。 実験により,本手法は実文書と合成文書の両方を要約することで,性能の向上を図っている。
  論文  参考訳（メタデータ） (2020-10-14T03:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。