論文の概要: The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models

• arxiv url: http://arxiv.org/abs/2502.08009v1
• Date: Tue, 11 Feb 2025 23:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:48:52.683944
• Title: The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models
• Title（参考訳）: プロンプトの幾何学:言語モデルにおけるタスク適応の特定メカニズムの解明
• Authors: Artem Kirsanov, Chi-Ning Chou, Kyunghyun Cho, SueYeon Chung,
• Abstract要約: 本研究では,異なるプロンプト法が言語モデルにおける表現の幾何学に与える影響について検討する。 本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。 我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。
• 参考スコア（独自算出の注目度）: 40.128112851978116
• License:
• Abstract: Decoder-only language models have the ability to dynamically switch between various computational tasks based on input prompts. Despite many successful applications of prompting, there is very limited understanding of the internal mechanism behind such flexibility. In this work, we investigate how different prompting methods affect the geometry of representations in these models. Employing a framework grounded in statistical physics, we reveal that various prompting techniques, while achieving similar performance, operate through distinct representational mechanisms for task adaptation. Our analysis highlights the critical role of input distribution samples and label semantics in few-shot in-context learning. We also demonstrate evidence of synergistic and interfering interactions between different tasks on the representational level. Our work contributes to the theoretical understanding of large language models and lays the groundwork for developing more effective, representation-aware prompting strategies.
• Abstract（参考訳）: デコーダのみの言語モデルでは、入力プロンプトに基づいて様々な計算タスクを動的に切り替えることができる。 プロンプトの多くの成功例にもかかわらず、そのような柔軟性の背後にある内部メカニズムの理解は非常に限られている。 本研究では,これらのモデルにおいて,異なるプロンプト法が表現の幾何学に与える影響について検討する。 統計物理学を基盤とした枠組みを用いることで,様々なプロンプト技術が類似した性能を達成しつつ,タスク適応のための表現機構を通じて動作することを明らかにする。 本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。 また、表象レベルで異なるタスク間の相互作用が相乗的かつ干渉する証拠を示す。 我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。

関連論文リスト

• Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning [7.412307614007383]
  マルチモーダル学習モデルは、共有表現空間を学習することにより、画像やテキストなどの様々なモダリティをブリッジするように設計されている。 これらのモデルはしばしばモダリティギャップを示し、異なるモダリティが共有表現空間内の異なる領域を占める。 トレーニング中にモダリティギャップを生じ、持続させる上で、不整合データペアと学習可能な温度パラメータの臨界的役割を同定する。
  論文  参考訳（メタデータ） (2024-12-10T20:36:49Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Counting in Small Transformers: The Delicate Interplay between Attention and Feed-Forward Layers [16.26331213222281]
  アーキテクチャ設計の選択がトランスフォーマーが実装し学習できるソリューションの空間にどのように影響するかを検討する。 小型変圧器が理論的に実装できる2つの異なる計数戦略を特徴付ける。 簡単な設定であっても、モデル設計のわずかなバリエーションは、トランスフォーマーが学習するソリューションに大きな変化をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-07-16T09:48:10Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
  本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。 私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。 特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
  論文  参考訳（メタデータ） (2023-06-21T11:24:41Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。