論文の概要: Studying the Effects of Task Diversity Using Small Mathematical Worlds
- arxiv url: http://arxiv.org/abs/2610.13750v1
- Date: Fri, 09 Oct 2026 15:39:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.656211
- Title: Studying the Effects of Task Diversity Using Small Mathematical Worlds
- Title（参考訳）: 小数理世界を用いたタスク多様性の効果に関する研究
- Abstract要約: IntWorldとPermWorldという2つの数学的なタスク・エコシステムを導入し、整数と置換に関する異なるが関連するタスクから構築する。
これらのデータセットから得られた初期結果は、タスクの多様性の増大がモデルの内部表現の豊かさを増大させるという考えを支持するものである。
- 参考スコア（独自算出の注目度）: 5.402959201198558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Basic mathematical tasks like modular addition have been a valuable tool for illuminating aspects of neural network behavior that are challenging to see in noisy, unverifiable, large-scale, real-world settings. These studies have typically focused on a single task. However, modern language models are exposed to a vast number of tasks despite being trained with a next-token prediction objective. In this work, we introduce two mathematical task ecosystems, IntWorld and PermWorld, built from distinct but related tasks on integers and permutations. Both are designed to simulate task diversity within a cohesive mathematical 'world' where tasks are distinct but related. Because the datasets are procedurally generated, we can precisely vary the number of tasks, allowing us to begin to disentangle the role of task variety from other factors in training. After describing the datasets, we provide some initial results obtained from these datasets which support the idea that increasing task diversity increases the richness of a model's internal representations.
- Abstract（参考訳）: モジュラーの追加のような基本的な数学的タスクは、ニューラルネットワークの振る舞いの側面を照らす上で貴重なツールであり、騒々しく、検証不可能で、大規模で、現実的な設定で見るのが難しい。
これらの研究は典型的には1つの課題に焦点を合わせてきた。
しかし、現代の言語モデルは、次世代の予測目標で訓練されているにもかかわらず、膨大なタスクに晒されている。
本研究では,整数と置換の異なるタスクから構築した2つの数学的タスクエコシステムであるIntWorldとPermWorldを紹介する。
どちらも、タスクが異なるが関連がある密着した数学的「世界」の中でタスクの多様性をシミュレートするように設計されている。
データセットは手続き的に生成されるので、タスクの数を正確に変更することができ、トレーニングにおける他の要因からタスクの多様性の役割を解き放つことができます。
データセットを説明した後、これらのデータセットから得られたいくつかの初期結果を提供し、タスクの多様性の増加がモデルの内部表現の豊かさを増大させるという考えを支持する。
関連論文リスト
- An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - MS-LaTTE: A Dataset of Where and When To-do Tasks are Completed [14.009925631455092]
我々はMS-LaTTEと呼ばれる新しい大規模データセットをリリースする。
タスク完了を取り巻くコンテキストの中核となる2つの側面(場所と時間)をキャプチャする。
本研究では,空間的タスクと時間的タスクの共起を予測する2つの問題に対して,データセットを検証した。
論文 参考訳（メタデータ） (2021-11-12T19:01:06Z) - Boosting a Model Zoo for Multi-Task and Continual Learning [15.110807414130923]
モデル動物園」はモデルのアンサンブルを構築するアルゴリズムであり、それぞれが非常に小さく、小さなタスクセットで訓練されている。
モデルZooは,マルチタスクおよび連続学習における最先端手法と比較して,予測精度が大きく向上する。
論文 参考訳（メタデータ） (2021-06-06T04:25:09Z) - Representation Learning Beyond Linear Prediction Functions [33.94130046391917]
そこで本研究では,音源タスクと対象タスクが線形関数以外の異なる予測関数空間を使用する場合,多様性が達成可能であることを示す。
一般関数クラスの場合、エローダ次元は多様性に必要なタスクの数に低い境界を与える。
論文 参考訳（メタデータ） (2021-05-31T14:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。