論文の概要: Lost in the Passage: Passage-level In-context Learning Does Not Necessarily Need a "Passage"

• arxiv url: http://arxiv.org/abs/2502.10634v1
• Date: Sat, 15 Feb 2025 02:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:16.206454
• Title: Lost in the Passage: Passage-level In-context Learning Does Not Necessarily Need a "Passage"
• Title（参考訳）: Lost in the Passage: Passage-level In-context Learning does not necessary need a "Passage"
• Authors: Hao Sun, Chenming Tang, Gengyang Li, Yunfang Wu,
• Abstract要約: In-context Learning (ICL)は、大規模言語モデル(LLM)が多くのタスクで素晴らしいパフォーマンスを得ることを可能にする。 単一文書QAとイントラクタ生成を含む2つの典型的なタスクに対して,異なるLLMを用いて実験を行う。 1/4の長さの全く意味のないデモンストレーションパスでさえ、元のフルパスよりもはるかに優れたパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 13.1818205103962
• License:
• Abstract: By simply incorporating demonstrations into the context, in-context learning (ICL) enables large language models (LLMs) to yield awesome performance on many tasks. In this paper, we focus on passage-level long-context ICL for generation tasks and find that LLMs cannot learn the intrinsic relationships between the demonstration passage and the generation output. We conduct experiments with different LLMs on two typical generation tasks including single-document QA and distractor generation, demonstrating that even a completely meaningless demonstration passage with 1/4 length achieves much better performance than the original full passage. Analysis via attention score reveals that LLMs pay little attention to passages compared to other components in prompt and little attention flows from the passage to other parts of the demonstration, which further confirms our finding. Additionally, experiments on context compression indicate that compression approaches proven effective on other long-context tasks are not suitable for passage-level ICL, since simply using shorter meaningless demonstration passages has achieved competitive performance.
• Abstract（参考訳）: 実演を文脈に組み込むことで、インコンテキスト学習(ICL)は大きな言語モデル(LLM)を多くのタスクで素晴らしいパフォーマンスが得られる。 本稿では,生成タスクのパスレベル長文ICLに着目し,LLMが実演パスと生成出力の本質的な関係を学習できないことを明らかにする。 単一文書QAとイントラクタ生成を含む2つの典型的なタスクに対して異なるLLMを用いて実験を行い、1/4長の全く意味のない実演パスであっても、元のフルパスよりもはるかに優れた性能が得られることを示した。 注意点を用いた分析の結果,LSMは他成分と比較して,即時的,他部位への注意フローがほとんどないことが判明した。 さらに、文脈圧縮実験により、他の長文タスクに有効であることが証明された圧縮アプローチは、単に短い無意味な実演パスを使用するだけで競争性能が向上しているため、通過レベルICLには適さないことが示されている。

関連論文リスト

• Focused Large Language Models are Stable Many-Shot Learners [18.783939647966776]
  In-Context Learning (ICL)により、大規模な言語モデル(LLM)がデモから学習することで、迅速なタスク適応を実現することができる。 重要でないコンテンツから注意を逸らすことを避けるために,自明なフィルタリングを行う訓練不要なFocusICLを提案する。 その結果,FocusICLはバニラICLよりも平均5.2%の性能向上を実現し,多くの実演に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-08-26T02:53:24Z)
• Efficiently Exploring Large Language Models for Document-Level Machine Translation with In-context Learning [38.89119606657543]
  文レベルの翻訳とは対照的に、文脈内学習に基づく大規模言語モデル(LLM)による文書レベルの翻訳(DOCMT)は2つの大きな課題に直面している。 本研究では,文脈認識型プロンプト法(CAP)を提案する。 様々なDOCMTタスクに対して広範な実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-11T09:11:17Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Misconfidence-based Demonstration Selection for LLM In-Context Learning [0.0]
  大規模言語モデル(LLM)を用いたインコンテキスト学習は、様々なタスクに迅速に適応する上で優れている。 この問題に対する現在のアプローチは、難易度の高い外部監視に依存するか、LLMとの頻繁な相互作用を必要とするかのいずれかである。 In-Context Reflection (ICR) と呼ばれる新しい手法を提案し、これらの課題を克服する。
  論文  参考訳（メタデータ） (2024-01-12T00:11:24Z)
• Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection [22.29452683679149]
  In-Context Learning(ICL)は、大規模言語モデル(LLM)をダウンストリームタスクに適用するための重要なパラダイムである。 本研究は、ICLのメカニズムを新しい視点から検討し、ICLの実証選択戦略についてより深い知見を提供する。
  論文  参考訳（メタデータ） (2023-12-12T18:05:46Z)
• When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
  In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。 我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
  論文  参考訳（メタデータ） (2023-11-15T14:26:30Z)
• Exploring In-Context Learning of Textless Speech Language Model for Speech Classification Tasks [98.5311231450689]
  インコンテキスト学習(ICL)は,大規模言語モデル(LLM)の利用において重要な役割を担っている。 本研究は,テキストレス音声 LM を用いた音声分類タスクのための ICL を探索する最初の研究である。
  論文  参考訳（メタデータ） (2023-10-19T05:31:45Z)
• Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
  インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
  論文  参考訳（メタデータ） (2023-09-14T17:48:34Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。