論文の概要: Representing LLMs in Prompt Semantic Task Space

• arxiv url: http://arxiv.org/abs/2509.22506v1
• Date: Fri, 26 Sep 2025 15:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.562311
• Title: Representing LLMs in Prompt Semantic Task Space
• Title（参考訳）: プロンプト・セマンティック・タスク空間におけるLLM表現
• Authors: Idan Kashani, Avi Mendelson, Yaniv Nemcovsky,
• Abstract要約: 大規模言語モデル(LLM)は様々なタスクに対して印象的な結果をもたらす。 与えられたタスクに対して最高のパフォーマンスのLLMを特定することは、大きな課題です。 この研究は、プロンプトのセマンティックタスク空間内でLLMを線形作用素として表すための効率的で訓練のないアプローチを示す。
• 参考スコア（独自算出の注目度）: 0.1784233255402269
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) achieve impressive results over various tasks, and ever-expanding public repositories contain an abundance of pre-trained models. Therefore, identifying the best-performing LLM for a given task is a significant challenge. Previous works have suggested learning LLM representations to address this. However, these approaches present limited scalability and require costly retraining to encompass additional models and datasets. Moreover, the produced representation utilizes distinct spaces that cannot be easily interpreted. This work presents an efficient, training-free approach to representing LLMs as linear operators within the prompts' semantic task space, thus providing a highly interpretable representation of the models' application. Our method utilizes closed-form computation of geometrical properties and ensures exceptional scalability and real-time adaptability to dynamically expanding repositories. We demonstrate our approach on success prediction and model selection tasks, achieving competitive or state-of-the-art results with notable performance in out-of-sample scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクに対して印象的な結果をもたらす。 したがって、与えられたタスクに対して最も優れたLCMを特定することは大きな課題である。 これまでの研究では、LLM表現を学習してこの問題に対処することを提案してきた。 しかし、これらのアプローチはスケーラビリティが限られており、追加のモデルやデータセットを含むためにコストがかかる。 さらに、生成した表現は容易に解釈できない異なる空間を利用する。 この研究は、プロンプトのセマンティックタスク空間内でLLMを線形演算子として表現するための効率的で訓練のないアプローチを示し、それによってモデルのアプリケーションの高度に解釈可能な表現を提供する。 本手法は, 幾何特性の閉形式計算を利用し, 動的に拡張するレポジトリに対して, 例外的な拡張性とリアルタイム適応性を確保する。 我々は、成功予測とモデル選択タスクに対するアプローチを実証し、アウトオブサンプルシナリオで顕著なパフォーマンスで、競争または最先端の結果を達成する。

関連論文リスト

• Language Models Struggle to Use Representations Learned In-Context [20.328647653504184]
  本研究は,大規模言語モデルにおいて,簡単なダウンストリームタスクを完了するためにコンテキスト内表現を使用できるかどうかを考察する。 オープンウェイト LLM がコンテキスト内で定義された新しい意味論の表現の展開に苦慮していることを示す。 全体として、本研究は、モデルに対して、提示された情報をコンテキスト内にエンコードするだけでなく、この情報の柔軟な展開をサポートする方法で、モデルに奨励する新しい方法を模索している。
  論文  参考訳（メタデータ） (2026-02-04T04:55:07Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
  インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。 実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。 より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
  論文  参考訳（メタデータ） (2025-06-16T05:37:49Z)
• Large Language Models as Attribution Regularizers for Efficient Model Training [0.0]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 我々は,LLM生成したグローバルタスク特徴属性を,より小さなネットワークのトレーニングプロセスに組み込む方法を提案する。 我々のアプローチは、数ショットの学習シナリオにおいて優れたパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2025-02-27T16:55:18Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。