論文の概要: Open-world AI: a Tale of Three Requirements

• arxiv url: http://arxiv.org/abs/2610.20782v1
• Date: Wed, 14 Oct 2026 18:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.016286
• Title: Open-world AI: a Tale of Three Requirements
• Title（参考訳）: オープンワールドAI:3つの要件の物語
• Abstract要約: クローズドワールドはAIに特別な能力を求め、理論が想定するIDデータを製造する。 オープンな世界は、汎用性を求めます -- マシンが作らなかったタスクを、少数の例から、人間のデザイナからはほとんど前もって受け取ります。 我々は、これらの主張を最大8Bまでの言語モデルでテストし、モデルがどれだけ勝つか(定量的)ではなく、特性(資格)を持っているかどうかを問う。
• 参考スコア（独自算出の注目度）: 13.089693964322562
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The closed world asks AI for specialized competence and lets it manufacture the iid data its theory assumes: a fixed criterion licenses collecting examples until the task is covered. The open world asks for versatility --- taking up tasks a machine was not built for, from few examples and with little prior from a human designer --- and offers data that is grouped, not shuffled. Its tasks are not known in advance, so a machine must do inference-time learning (1st requirement). Modeling tasks as sharing latent factors and decomposing the training objective, we derive two more: a *rich representation*, retaining more than iid generalization requires, and a predictive disentanglement that aligns inputs and outputs into matched low-dimensional groups. The analysis further predicts the need for a consistent inner learner, and the benefit of long contexts spanning related tasks. We test these claims on language models up to 8B, asking whether a model has a property (qualitative) rather than how much it wins (quantitative). Models that meet the requirements improve as data from related tasks accumulates; the rest degrade, and neither scale nor layer-type interleaving repairs this.
• Abstract（参考訳）: クローズドワールドはAIに特別な能力を求め、その理論が想定するiidデータを生成する。 オープンな世界は、汎用性を求める -- マシンが作らなかったタスクを、少数の例から、人間のデザイナからほとんど前まで取り出す — を求め、シャッフルではなく、グループ化されたデータを提供する。 そのタスクは事前に分かっていないため、機械は推論時間学習(第一の要件)をしなければならない。 タスクを潜在因子を共有し、訓練対象を分解するものとしてモデル化すると、さらに2つの方法が導かれる: a *rich representation*, maintaining than iid generalization requires, and a predictive disentanglement that eachs and outputs into matched low-dimensional groups。 この分析は、一貫した内部学習者の必要性と、関連するタスクにまたがる長いコンテキストの利点をさらに予測する。 我々は、これらの主張を言語モデル上で最大8Bまでテストし、モデルがどれだけ勝つか(定量的)ではなく、特性(資格)を持っているかどうかを問う。 関連するタスクのデータが蓄積されるにつれて、要求を満たすモデルは改善される。

関連論文リスト

• Question: How do Large Language Models perform on the Question Answering tasks? Answer: [0.0]
  大型言語モデル(LLM)は、少数ショットまたはゼロショットプロンプト技術を用いることで、これらのタスクを明示的にトレーニングする必要なしに、様々なNLPタスクに対して有望な結果を示している。 スタンフォード質問回答データセット 2.0 (SQuAD2) 上で、小型の微調整モデルとアウト・オブ・ザ・ボックスの命令追従 LLM の総合的な性能比較を提案する。 以上の結果から, より小型で細調整されたモデルでは, 細調整されたタスクにおいて, 現状のSOTA(State-Of-The-Art) LLMよりも優れていることがわかったが, 最新のSOTAモデルでは, このギャップを埋めることができる。
  論文  参考訳（メタデータ） (2024-12-17T13:19:38Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• On the Power of Foundation Models [9.132197704350492]
  カテゴリー理論がこの問題に答える強力な機械を提供することを示す。 最小要求パワー(対称性まで)を持つ基礎モデルは、プリテキストタスクによって定義されたカテゴリの下流タスクを理論的に解くことができる。 最終結果は新しいタイプの一般化定理と見なすことができ、基礎モデルが対象圏から見えない対象を生成できることが示される。
  論文  参考訳（メタデータ） (2022-11-29T16:10:11Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Self-Supervision based Task-Specific Image Collection Summarization [3.115375810642661]
  本稿では,意味情報と自己スーパービジョンを用いたタスク固有画像コーパス要約手法を提案する。 特徴生成ネットワークとして,分類に基づくWasserstein generation adversarial Network (WGAN) を用いる。 モデルは、セマンティック埋め込み空間におけるK平均クラスタリングを用いて、推論時に要約を生成する。
  論文  参考訳（メタデータ） (2020-12-19T10:58:04Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。