論文の概要: Representing LLMs in Prompt Semantic Task Space

• arxiv url: http://arxiv.org/abs/2509.22506v1
• Date: Fri, 26 Sep 2025 15:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.562311
• Title: Representing LLMs in Prompt Semantic Task Space
• Title（参考訳）: プロンプト・セマンティック・タスク空間におけるLLM表現
• Authors: Idan Kashani, Avi Mendelson, Yaniv Nemcovsky,
• Abstract要約: 大規模言語モデル(LLM)は様々なタスクに対して印象的な結果をもたらす。 与えられたタスクに対して最高のパフォーマンスのLLMを特定することは、大きな課題です。 この研究は、プロンプトのセマンティックタスク空間内でLLMを線形作用素として表すための効率的で訓練のないアプローチを示す。
• 参考スコア（独自算出の注目度）: 0.1784233255402269
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) achieve impressive results over various tasks, and ever-expanding public repositories contain an abundance of pre-trained models. Therefore, identifying the best-performing LLM for a given task is a significant challenge. Previous works have suggested learning LLM representations to address this. However, these approaches present limited scalability and require costly retraining to encompass additional models and datasets. Moreover, the produced representation utilizes distinct spaces that cannot be easily interpreted. This work presents an efficient, training-free approach to representing LLMs as linear operators within the prompts' semantic task space, thus providing a highly interpretable representation of the models' application. Our method utilizes closed-form computation of geometrical properties and ensures exceptional scalability and real-time adaptability to dynamically expanding repositories. We demonstrate our approach on success prediction and model selection tasks, achieving competitive or state-of-the-art results with notable performance in out-of-sample scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクに対して印象的な結果をもたらす。 したがって、与えられたタスクに対して最も優れたLCMを特定することは大きな課題である。 これまでの研究では、LLM表現を学習してこの問題に対処することを提案してきた。 しかし、これらのアプローチはスケーラビリティが限られており、追加のモデルやデータセットを含むためにコストがかかる。 さらに、生成した表現は容易に解釈できない異なる空間を利用する。 この研究は、プロンプトのセマンティックタスク空間内でLLMを線形演算子として表現するための効率的で訓練のないアプローチを示し、それによってモデルのアプリケーションの高度に解釈可能な表現を提供する。 本手法は, 幾何特性の閉形式計算を利用し, 動的に拡張するレポジトリに対して, 例外的な拡張性とリアルタイム適応性を確保する。 我々は、成功予測とモデル選択タスクに対するアプローチを実証し、アウトオブサンプルシナリオで顕著なパフォーマンスで、競争または最先端の結果を達成する。

関連論文リスト

• Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
  インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。 実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。 より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
  論文  参考訳（メタデータ） (2025-06-16T05:37:49Z)
• Large Language Models as Attribution Regularizers for Efficient Model Training [0.0]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 我々は,LLM生成したグローバルタスク特徴属性を,より小さなネットワークのトレーニングプロセスに組み込む方法を提案する。 我々のアプローチは、数ショットの学習シナリオにおいて優れたパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2025-02-27T16:55:18Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。