論文の概要: Overview of the TREC 2025 Million Large Language Models track

• arxiv url: http://arxiv.org/abs/2609.31921v1
• Date: Fri, 25 Sep 2026 19:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:35:58.107016
• Title: Overview of the TREC 2025 Million Large Language Models track
• Title（参考訳）: TREC 2025M大規模言語モデルの概要
• Abstract要約: エージェントAIは、人間の介入を最小限に抑えて複雑なタスクを協調的に解決するインテリジェントエージェントのエコシステムを構想する。 本稿では,モデルの観測可能な振る舞いを調べることによって,アシスタントエージェントが専門知識を動的に推論する検索に基づくパラダイムを提案する。 TREC Million LLM Trackは、検索対象をドキュメントからエキスパートLLMにシフトすることで、このパラダイムを運用する。
• 参考スコア（独自算出の注目度）: 34.65286973765269
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Agentic AI envisions ecosystems of intelligent agents collaboratively solving complex tasks with minimal human intervention. In such ecosystems, each agent possesses specialized expertise, making effective expert selection central to overall system performance. While most current approaches assume a small number of well-documented models, real-world expertise is far more diverse and cannot be adequately captured through static metadata or hand-written descriptions. We anticipate a future with millions of specialized language models (LLMs), each excelling in different domains or problem types. Rather than relying on predefined capability statements, we propose a retrieval-based paradigm in which an assistant agent infers expertise dynamically by examining models' observable behavior. Upon receiving a user query, the assistant ranks candidate LLMs based on demonstrated competence, enabling efficient and adaptive expert selection. The TREC Million LLM Track operationalizes this paradigm by shifting the retrieval target from documents to expert LLMs. Participants are given a discovery set consisting of queries, answers, and log-probabilities from more than one thousand LLMs and are challenged to infer meaningful expertise representations for each model. Given an unseen test query, systems must then rank the LLMs according to their expected performance, providing the first large-scale benchmark for expertise retrieval in agentic AI.
• Abstract（参考訳）: エージェントAIは、人間の介入を最小限に抑えて複雑なタスクを協調的に解決するインテリジェントエージェントのエコシステムを構想する。 このようなエコシステムにおいて、各エージェントは専門的な専門知識を持ち、システム全体のパフォーマンスの中心となる効果的な専門家の選択を行う。 現在のほとんどのアプローチは、少数の文書化されたモデルを想定しているが、現実世界の専門知識ははるかに多様であり、静的メタデータや手書きによる記述によって適切に捉えられていない。 我々は、何百万もの専門言語モデル(LLM)で未来を予測し、それぞれ異なるドメインや問題タイプに優れています。 本稿では,事前定義された機能ステートメントに頼るのではなく,モデルの観測可能な振る舞いを調べることによって,アシスタントエージェントが専門知識を動的に推論する検索に基づくパラダイムを提案する。 ユーザクエリを受信すると、実演能力に基づいて候補LSMをランク付けし、効率的かつ適応的な専門家選択を可能にする。 TREC Million LLM Trackは、検索対象をドキュメントからエキスパートLLMにシフトすることで、このパラダイムを運用する。 参加者には、1000 LLM以上のクエリ、回答、ログ確率からなる発見セットが与えられ、各モデルに意味のある専門知識の表現を推論することが課題となっている。 予期せぬテストクエリが与えられると、システムは予測されたパフォーマンスに従ってLLMをランク付けし、エージェントAIの専門知識検索のための最初の大規模なベンチマークを提供する必要がある。

関連論文リスト

• Agentic ML Exploration (A-MLE) for Ads Ranking [15.303958185909982]
  Agentic ML Explorationは、広告ランキングモデルのポートフォリオにわたって、MLテクニックを体系的に探求する。 A-MLEはMLイテレーションを仮説生成、探索戦略、実験実行、結果分析、共有知識基板を含む5つのステージに分解する。 大規模広告ランキングモデルの代表的な集合にA-MLEをデプロイし、それを階層化された機能フレームワークで評価する。
  論文  参考訳（メタデータ） (2026-09-08T04:48:03Z)
• MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability [106.35604230971396]
  最近のエージェント技術の進歩により、大規模言語モデル(LLM)は、検索、計画、推論のためのツールを自律的に活用することができる。 エージェントの普遍的な検索能力を高めるために,新しい事前学習フレームワークMaskSearchを提案する。 事前学習の段階では、検索ツールを用いてマスク付きスパンを埋めるRetrieval Augmented Mask Prediction (RAMP)タスクを導入する。 その後、モデルは下流のタスクでトレーニングされ、さらなる改善が達成されます。
  論文  参考訳（メタデータ） (2025-05-26T17:58:50Z)
• Learnware of Language Models: Specialized Small Language Models Can Do Big [50.285859986475394]
  本稿では,学習用パラダイムを言語モデルに適用するための予備的試みを示す。 我々は,8Bパラメータを持つ特殊SLMの学習装置を約100個構成した学習装置をシミュレートした。 各タスク固有の推論に対して1つの適切な学習ウェアを選択することで、システムは全てのベンチマークでベースSLMよりも優れる。
  論文  参考訳（メタデータ） (2025-05-19T17:54:35Z)
• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 GPT4o-miniのような強力なLCMやマルチエージェントアプローチに勝るSymbolic-MoEは、最高のマルチエージェントベースラインよりも8.15%向上している。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• Agent-centric Information Access [21.876205078570507]
  大規模言語モデル(LLM)はより特殊化され、それぞれが独自のデータに基づいて訓練され、特定のドメインで優れたものとなる。 本稿ではエージェント中心の情報アクセスのためのフレームワークを紹介し,LLMは知識エージェントとして機能し,その知識に基づいて動的にランク付けされ,クエリされる。 本稿では,検索拡張生成とクラスタリング技術を活用して,数千の専門モデルの構築と評価を行うスケーラブルな評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-26T16:56:19Z)
• Efficient Dynamic Ensembling for Multiple LLM Experts [44.41847678666002]
  異なるLLM専門家の強みに対するアンサンブル推論は、多様な入力に対して一貫した満足なパフォーマンスを達成するために重要である。 本研究では,動的入力を前提とした複数のLDMエキスパートの強みを統合するために,DERと呼ばれる効率的な動的アンサンブル推論パラダイムを提案する。 実験により,本手法では,最先端のベースラインに比べて計算資源が少なく,性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-12-10T12:05:56Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。