論文の概要: Exploring Information Processing in Large Language Models: Insights from Information Bottleneck Theory

• arxiv url: http://arxiv.org/abs/2501.00999v2
• Date: Mon, 06 Jan 2025 01:49:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:31.844621
• Title: Exploring Information Processing in Large Language Models: Insights from Information Bottleneck Theory
• Title（参考訳）: 大規模言語モデルにおける情報処理の探索:インフォメーション・ボトルネック理論からの考察
• Authors: Zhou Yang, Zhengyu Qi, Zhaochun Ren, Zhikai Jia, Haizhou Sun, Xiaofei Zhu, Xiangwen Liao,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 本稿では,情報ボトルネック理論の観点から,情報処理におけるLLMの動作機構について考察する。 情報圧縮に基づくコンテキスト学習(IC-ICL)とタスク空間誘導ファインタニング(TS-FT)の2つの新しいアプローチを紹介する。
• 参考スコア（独自算出の注目度）: 17.426872862387818
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across a wide range of tasks by understanding input information and predicting corresponding outputs. However, the internal mechanisms by which LLMs comprehend input and make effective predictions remain poorly understood. In this paper, we explore the working mechanism of LLMs in information processing from the perspective of Information Bottleneck Theory. We propose a non-training construction strategy to define a task space and identify the following key findings: (1) LLMs compress input information into specific task spaces (e.g., sentiment space, topic space) to facilitate task understanding; (2) they then extract and utilize relevant information from the task space at critical moments to generate accurate predictions. Based on these insights, we introduce two novel approaches: an Information Compression-based Context Learning (IC-ICL) and a Task-Space-guided Fine-Tuning (TS-FT). IC-ICL enhances reasoning performance and inference efficiency by compressing retrieved example information into the task space. TS-FT employs a space-guided loss to fine-tune LLMs, encouraging the learning of more effective compression and selection mechanisms. Experiments across multiple datasets validate the effectiveness of task space construction. Additionally, IC-ICL not only improves performance but also accelerates inference speed by over 40\%, while TS-FT achieves superior results with a minimal strategy adjustment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、入力情報を理解し、対応する出力を予測することによって、幅広いタスクにわたって顕著な性能を示す。 しかし、LLMが入力を理解し、効果的な予測を行う内部メカニズムはいまだに理解されていない。 本稿では,情報ボトルネック理論の観点から,情報処理におけるLLMの動作機構について考察する。 1)LLMはタスク理解を容易にするために特定のタスク空間(例えば、感情空間、話題空間)に入力情報を圧縮し、(2)重要な瞬間にタスク空間から関連情報を抽出して、正確な予測を生成する。 これらの知見に基づき,情報圧縮に基づくコンテキスト学習(IC-ICL)とタスク空間誘導ファインチューニング(TS-FT)の2つの新しいアプローチを紹介する。 IC-ICLは、検索したサンプル情報をタスク空間に圧縮することにより、推論性能と推論効率を向上させる。 TS-FTは微調整LDMに空間誘導損失を導入し、より効率的な圧縮と選択機構の学習を奨励している。 複数のデータセットにまたがる実験は、タスク空間の構築の有効性を検証する。 さらに、IC-ICLは性能を向上するだけでなく、推論速度を40%以上加速する一方、TS-FTは最小限の戦略調整で優れた結果を得る。

関連論文リスト

• Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns [47.57912649802414]
  本研究では,SFTプロセスがLLMを下流タスクに適応させるプロセスについて,注意パターンの観点から検討する。 LLMは、SFT中にタスク固有のアテンションヘッドを選択的に活性化し、(2)複雑なタスクのアクティベーションパターンは基本的なタスクパターンの組み合わせであり、(3)少数のパラメータの変化は、少数のサンプル上でSFT後のアクティベーションパターンに大きな影響を与える。
  論文  参考訳（メタデータ） (2024-09-24T07:34:50Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models [5.011816280731356]
  特定の大規模言語モデル(LLM)に対してタスクを文脈化するための,シンプルで効果的な手法を提案する。 本稿では,テキストクラスタリングタスクにおけるこのアプローチの有効性を示すとともに,上記の手順の例による文脈化の重要性を強調する。
  論文  参考訳（メタデータ） (2024-06-19T08:48:05Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models [20.173322408302134]
  構成微調整は、対象タスクをコンポーネントタスクに明示的に分解するアプローチである。 CFTは、同じ量のデータでもエンド・ツー・エンドの学習より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T03:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。