論文の概要: Understanding In-Context Learning from Repetitions

• arxiv url: http://arxiv.org/abs/2310.00297v2
• Date: Tue, 10 Oct 2023 01:22:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 02:39:16.608565
• Title: Understanding In-Context Learning from Repetitions
• Title（参考訳）: 繰り返しからの文脈内学習の理解
• Authors: Jianhao Yan, Jin Xu, Chiyu Song, Chenming Wu, Yafu Li, Yue Zhang
• Abstract要約: 本稿では,Large Language Models(LLMs)における文脈内学習の基盤となる概念的メカニズムについて考察する。 テキスト生成における表面的特徴の役割を定量的に検討し,エフェトケン共起強化の存在を実証的に確立する。 これらの特徴の二重的影響を調査することにより、本研究は、文脈内学習の内部動作を照らし、その失敗の原因について解説する。
• 参考スコア（独自算出の注目度）: 21.28694573253979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the elusive mechanism underpinning in-context learning in Large Language Models (LLMs). Our work provides a novel perspective by examining in-context learning via the lens of surface repetitions. We quantitatively investigate the role of surface features in text generation, and empirically establish the existence of \emph{token co-occurrence reinforcement}, a principle that strengthens the relationship between two tokens based on their contextual co-occurrences. By investigating the dual impacts of these features, our research illuminates the internal workings of in-context learning and expounds on the reasons for its failures. This paper provides an essential contribution to the understanding of in-context learning and its potential limitations, providing a fresh perspective on this exciting capability.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における文脈内学習を支える概念的メカニズムについて考察する。 我々の研究は、表面繰り返しのレンズを通してコンテキスト内学習を調べることによって、新しい視点を提供する。 テキスト生成における表層特徴の役割を定量的に検討し,文脈的共起に基づいて2つのトークン間の関係を強める原理である<emph{token co-occurrence reinforcement} の存在を実証的に確立する。 これらの特徴の二重的影響を調査することにより、本研究は、文脈内学習の内部動作を照らし、その失敗の原因について解説する。 本稿では,文脈内学習とその潜在的な限界を理解する上で重要な貢献をし,このエキサイティングな能力について新たな視点を提供する。

関連論文リスト

• The broader spectrum of in-context learning [13.111927028942329]
  我々は、このタイプの教師付き少数ショット学習を、より広い範囲のメタラーニングインコンテキストラーニングの範囲内に配置する視点を提供する。 文脈非自明にその後の予測における損失を減少させるシーケンスの分布を抽出できることを提案する。 我々は、文脈内学習の研究は、このより広い範囲の文脈内能力と一般化のタイプを考慮すべきである、という提案を締めくくっている。
  論文  参考訳（メタデータ） (2024-12-05T00:05:11Z)
• Mitigating Knowledge Conflicts in Language Model-Driven Question Answering [15.29366851382021]
  2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T07:33:10Z)
• Investigating Expert-in-the-Loop LLM Discourse Patterns for Ancient Intertextual Analysis [0.0]
  この研究は、大きな言語モデルがテキスト間の直接引用、暗示、エコーを検出することを実証している。 このモデルは、長いクエリパスと、偽のテキスト間の依存を含めることに苦労する。 提案するプリンシパル・イン・ザ・ループ手法は、テキスト間研究にスケーラブルなアプローチを提供する。
  論文  参考訳（メタデータ） (2024-09-03T13:23:11Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• The Mystery of In-Context Learning: A Comprehensive Survey on Interpretation and Analysis [20.142154624977582]
  In-context Learning (ICL) 機能により、大規模な言語モデルが実演例を通じて習熟できる。 本稿では,文脈内学習の解釈と分析について,徹底的な調査を行う。 我々は,本研究が,文脈内学習の解釈のさらなる探求の基盤となると信じている。
  論文  参考訳（メタデータ） (2023-11-01T02:40:42Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• Learning to Express in Knowledge-Grounded Conversation [62.338124154016825]
  本稿では,知識表現の2つの側面,すなわち各部分における内容の応答構造とスタイルについて考察する。 本稿では, セグメンテーションに基づく生成モデルを提案し, 応答における知識表現の基盤となるパターンを発見するために, 変動的アプローチを用いてモデルを最適化する。
  論文  参考訳（メタデータ） (2022-04-12T13:43:47Z)
• Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition [60.36540008537054]
  本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。 両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。 7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
  論文  参考訳（メタデータ） (2021-05-13T12:27:35Z)
• Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey [54.34370423151014]
  本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。 本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
  論文  参考訳（メタデータ） (2020-10-14T17:54:42Z)
• Summarizing Text on Any Aspects: A Knowledge-Informed Weakly-Supervised Approach [89.56158561087209]
  文書に関連する任意の側面を要約する。 監視データがないため、我々は新しい弱い監督構築法とアスペクト・モデリング・スキームを開発した。 実験により,本手法は実文書と合成文書の両方を要約することで,性能の向上を図っている。
  論文  参考訳（メタデータ） (2020-10-14T03:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。