論文の概要: UniICL: An Efficient Unified Framework Unifying Compression, Selection, and Generation

• arxiv url: http://arxiv.org/abs/2405.17062v3
• Date: Mon, 26 May 2025 08:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:41.531655
• Title: UniICL: An Efficient Unified Framework Unifying Compression, Selection, and Generation
• Title（参考訳）: UniICL: 圧縮、選択、生成を統一する効率的な統一フレームワーク
• Authors: Jun Gao, Qi Lv, Zili Wang, Tianxiang Wu, Ziqiang Cao, Wenjie Li,
• Abstract要約: In-context Learning (ICL)は、いくつかの実演を前にして、LLM(Large Language Models)の推論能力を高める。 既存の手法は、文脈長の過剰な成長の問題により、大きな限界を示す。 デモ圧縮, デモ選択, 最終応答生成を統一する textbfUniICL を提案する。
• 参考スコア（独自算出の注目度）: 15.411330040557568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) enhances the reasoning abilities of Large Language Models (LLMs) by prepending a few demonstrations. It motivates researchers to introduce more examples to provide additional contextual information for the generation. However, existing methods show a significant limitation due to the problem of excessive growth in context length, which causes a large hardware burden. In addition, shallow-relevant examples selected by off-the-shelf tools hinder LLMs from capturing useful contextual information for generation. In this paper, we propose \textbf{UniICL}, a novel \textbf{Uni}fied \textbf{ICL} framework that unifies demonstration compression, demonstration selection, and final response generation. Furthermore, to boost inference efficiency, we design a tailored compression strategy that allows UniICL to cache compression results into \textbf{Demonstration Bank} (\textbf{DB}), which avoids repeated compression of the same demonstration. Extensive out-of-domain evaluations prove the advantages of UniICL in both effectiveness and efficiency.
• Abstract（参考訳）: In-context Learning (ICL)は、いくつかの実演を前にして、LLM(Large Language Models)の推論能力を高める。 研究者がより多くの事例を導入して、世代に追加の文脈情報を提供することを動機付けている。 しかし,既存の手法ではコンテキスト長の過度な増加の問題により,ハードウェアの負荷が大きくなるため,大きな制限が生じる。 さらに、市販のツールで選択した浅瀬関連例は、LCMが生成に有用なコンテキスト情報を取得するのを妨げている。 本稿では, デモ圧縮, デモ選択, 最終応答生成を統一した, 新規な \textbf{Uni}fied \textbf{ICL} フレームワークである \textbf{UniICL} を提案する。 さらに、推論効率を向上させるために、UniICLが圧縮結果を \textbf{Demonstration Bank} (\textbf{DB}) にキャッシュできるような最適化された圧縮戦略を設計する。 ドメイン外の大規模な評価は、UniICLの有効性と効率性の両方において利点を証明している。

関連論文リスト

• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• In-Context Learning with Iterative Demonstration Selection [32.62104857810135]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) を介して強力な数ショット学習能力を示した。 ICLの性能は、数発のデモの選択に非常に敏感であることが示されている。 両次元のメリットを活用するために,反復デモ選択(IDS)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T16:40:19Z)
• Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
  In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。 これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Are Human-generated Demonstrations Necessary for In-context Learning? [22.783456038837794]
  SEC(Self-contemplation prompting Strategy)は、人為的なデモンストレーションのないパラダイムである。 算術推論、常識推論、マルチタスク言語理解、コード生成ベンチマークにおける大規模な実験は、SECがゼロショット学習戦略を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2023-09-26T05:10:08Z)
• Ambiguity-Aware In-Context Learning with Large Language Models [27.20414960164616]
  インコンテキスト学習(ICL)、すなわち、LLMのタスク固有のデモは、タスク固有の微調整を必要とせず、ダウンストリームのゲインにつながった。 そこで本研究では,ICLの優れた実演方法について検討する。 セマンティックに類似したICLのデモンストレーションを選択するだけでなく、テスト例を取り巻く固有のラベルの曖昧さを解決するのに役立つものを選択することは有益である。
  論文  参考訳（メタデータ） (2023-09-14T17:48:34Z)
• Exploring Demonstration Ensembling for In-context Learning [75.35436025709049]
  In-context Learning (ICL) は、与えられたタスクに対する入出力ペアの言語モデル(LM)の例を示す。 ICLの標準的なアプローチは、LMdのデモとテスト入力の促進である。 本研究は,単純な結合の代替として,DENSE(Demonstration Ensembling)を探索する。
  論文  参考訳（メタデータ） (2023-08-17T04:45:19Z)
• Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations [38.4166247280112]
  Self-ICLは、ゼロショットICLを実行するためにLMの固有の機能をブートストラップするフレームワークである。 Self-ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-05-24T11:22:34Z)
• Dr.ICL: Demonstration-Retrieved In-context Learning [29.142262267850704]
  インコンテキスト学習(ICL)は、LLMを使用するための強力なパラダイムとして、数発のデモでタスクを実行するために大きな言語モデルを教える。 最近の研究では、利用可能なデモのプールからの入力に対して意味論的に類似したデモを取得することで、より良いパフォーマンスが得られることが示唆されている。 この研究は、BM25のような単純な単語オーバーラップ類似度対策でさえ、ランダムに選択された実演よりも優れていることを示すことで、検索ベースのICLアプローチの適用性を拡大する。
  論文  参考訳（メタデータ） (2023-05-23T14:55:25Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。