論文の概要: Just-in-time and distributed task representations in language models
- arxiv url: http://arxiv.org/abs/2509.04466v1
- Date: Thu, 28 Aug 2025 23:08:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-14 20:41:04.893031
- Title: Just-in-time and distributed task representations in language models
- Title（参考訳）: 言語モデルにおけるジャスト・イン・タイムと分散タスク表現
- Authors: Yuxuan Li, Declan Campbell, Stephanie C. Y. Chan, Andrew Kyle Lampinen,
- Abstract要約: 言語モデルで生成した新しいタスクのエンフエン表現について検討する。
これらの表現は、非単調および散発的な方法で進化することを示す。
これは、言語モデルの新たなエビデンスに適応する能力に基づく、ジャスト・イン・タイムの計算プロセスの一種である。
- 参考スコア（独自算出の注目度）: 12.32238489727172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many of language models' impressive capabilities originate from their in-context learning: based on instructions or examples, they can infer and perform new tasks without weight updates. In this work, we investigate \emph{when} representations for new tasks are formed in language models, and \emph{how} these representations change over the course of context. We focus on ''transferrable'' task representations -- vector representations that can restore task context in another instance of the model, even without the full prompt. We show that these representations evolve in non-monotonic and sporadic ways, and are distinct from a more inert representation of high-level task categories that persists throughout the context. Specifically, models often condense multiple evidence into these transferrable task representations, which align well with the performance improvement based on more examples in the context. However, this accrual process exhibits strong locality along the sequence dimension, coming online only at certain tokens -- despite task identity being reliably decodable throughout the context. Moreover, these local but transferrable task representations tend to capture minimal ''task scopes'', such as a semantically-independent subtask, and models rely on more temporally-distributed representations to support longer and composite tasks. This two-fold locality (temporal and semantic) underscores a kind of just-in-time computational process underlying language models' ability to adapt to new evidence and learn new tasks on the fly.
- Abstract（参考訳）: 言語モデルの印象的な能力の多くは、コンテキスト内学習に由来するもので、命令や例に基づいて、重み付けの更新なしに新しいタスクを推論し実行することができる。
本研究では,新しいタスクが言語モデルで生成される場合の 'emph{when} 表現について検討し,これらの表現は文脈によって変化することを示す。
タスク表現 -- 完全なプロンプトがなくても、モデルの別のインスタンスでタスクコンテキストを復元できるベクトル表現 -- に焦点を当てています。
これらの表現は非単調かつ散発的な方法で進化し、文脈全体にわたって持続する高レベルのタスクカテゴリのより不活性な表現とは異なることを示す。
具体的には、モデルはしばしばこれらの伝達可能なタスク表現に複数のエビデンスを凝縮し、コンテキスト内のより多くの例に基づいたパフォーマンス改善とよく一致します。
しかし、この集積プロセスはシーケンスの次元に沿って強い局所性を示し、特定のトークンでのみオンライン化されます。
さらに、これらのローカルだが転送可能なタスク表現は、意味的に非依存なサブタスクのような最小限の「タスクスコープ」をキャプチャする傾向にあり、モデルはより時間的に分散された表現に依存して、より長く複合的なタスクをサポートする。
この2倍の局所性(時間的および意味的)は、言語モデルの新たなエビデンスに適応し、オンザフライで新しいタスクを学習する能力に基づく、ジャスト・イン・タイムの計算プロセスの一種である。
関連論文リスト
- Symbolic Representation for Any-to-Any Generative Tasks [25.808462395329194]
本稿では,任意のマルチモーダルタスクを構造化されたシンボルフローとして表現できる記号生成タスク記述言語と推論エンジンを提案する。
本フレームワークは,タスク固有のチューニングを必要とせずに,強力なパフォーマンスと柔軟性を示すため,12以上の多様なマルチモーダル生成タスクを成功裏に実行した。
実験により,本手法はコンテンツ品質において,既存の最先端統一モデルに適合あるいは優れるだけでなく,効率,編集性,中断性も向上することが示された。
論文 参考訳（メタデータ） (2025-04-24T05:35:47Z) - The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models [40.128112851978116]
本研究では,異なるプロンプト法が言語モデルにおける表現の幾何学に与える影響について検討する。
本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。
我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。
論文 参考訳（メタデータ） (2025-02-11T23:09:50Z) - Temporal Representation Alignment: Successor Features Enable Emergent Compositionality in Robot Instruction Following [50.377287115281476]
本研究では,現在および将来の状態の表現と時間的損失を関連付ける学習により,構成一般化が向上することを示す。
我々は,多様なロボット操作タスクおよびシミュレーションにおけるアプローチを評価し,言語やゴールイメージで指定されたタスクに対して,大幅な改善を示す。
論文 参考訳（メタデータ） (2025-02-08T05:26:29Z) - Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文 参考訳（メタデータ） (2025-02-08T00:16:44Z) - Vision-Language Models Create Cross-Modal Task Representations [58.19152818504624]
視覚言語モデル(VLM)は,概念的に等価な入力を共有タスクベクトルに整合させることができる。
このアライメントを,タスクやモデルアーキテクチャのクロスモーダル転送を通じて測定する。
タスクベクトルはベース言語モデルから微調整された視覚言語モデルに変換可能であることを示す。
論文 参考訳（メタデータ） (2024-10-29T17:59:45Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳（メタデータ） (2023-10-09T06:57:45Z) - Images Speak in Images: A Generalist Painter for In-Context Visual
Learning [98.78475432114595]
コンテキスト内学習により、モデルはいくつかのプロンプトと例だけで、様々なタスクに迅速に適応できる。
汎用タスクをどのように定義すれば、ビジョンモデルがドメイン外のタスクを理解し、転送できるのかは不明だ。
我々は、コアビジョンタスクの出力をイメージとして再定義し、タスクプロンプトを画像として指定する汎用モデルであるPapererを提案する。
論文 参考訳（メタデータ） (2022-12-05T18:59:50Z) - Prompt Tuning with Soft Context Sharing for Vision-Language Models [42.61889428498378]
本稿では,複数目的の複数ショットタスクにおいて,事前学習した視覚言語モデルを協調的にチューニングする新しい手法を提案する。
我々は,SoftCPTがシングルタスクのプロンプトチューニング方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-08-29T10:19:10Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
マルチタスク条件言語生成のための生成モデルを提案する。
我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。
このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
論文 参考訳（メタデータ） (2020-02-21T20:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。