論文の概要: METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth

• arxiv url: http://arxiv.org/abs/2411.11933v2
• Date: Fri, 29 Nov 2024 06:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:17:54.825133
• Title: METEOR: Evolutionary Journey of Large Language Models from Guidance to Self-Growth
• Title（参考訳）: METEOR: ガイダンスから自己成長への大規模言語モデルの進化的ジャーニー
• Authors: Jiawei Li, Xiaoang Xu, Yang Gao,
• Abstract要約: 本稿では,弱いデータ蒸留,反復訓練,自己進化戦略の3段階を含むMeteor法を提案する。 実験により,本手法はドメイン固有タスクにおける精度,完全性,妥当性,一貫性,信頼性を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 11.83552034026946
• License:
• Abstract: Model evolution enables learning from feedback to refine experiences and update skills, transforming models from having no domain knowledge to becoming domain experts. However, there is currently no unified and effective method for guiding this evolutionary process. To address this gap, we propose the Meteor method, which includes three training phases: weak-to-strong data distillation, iterative training, and self-evolution strategies. Each phase maximizes the model's inherent domain capabilities, allowing it to autonomously refine its domain knowledge and enhance performance. Experiments demonstrate that our approach significantly improves accuracy, completeness, relevance, coherence, and reliability across domain-specific tasks.
• Abstract（参考訳）: モデル進化は、フィードバックから学び、経験を洗練し、スキルを更新することを可能にする。 しかし、現在この進化過程を導く統一的で効果的な方法はない。 このギャップに対処するために,弱いデータ蒸留,反復的学習,自己進化戦略という3つの訓練段階を含むMeteor法を提案する。 各フェーズはモデル固有のドメイン能力を最大化し、ドメインの知識を自律的に洗練し、パフォーマンスを向上させる。 実験により,本手法はドメイン固有のタスクにおける精度,完全性,妥当性,一貫性,信頼性を著しく向上することが示された。

関連論文リスト

• DODT: Enhanced Online Decision Transformer Learning through Dreamer's Actor-Critic Trajectory Forecasting [37.334947053450996]
  本稿では,Dreamerアルゴリズムの予測軌道生成能力とオンライン決定変換器の適応強度を組み合わせた新しい手法を提案する。 提案手法は,Dreamer-produced trajectories が変換器の文脈決定を促進させる並列学習を可能にする。
  論文  参考訳（メタデータ） (2024-10-15T07:27:56Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Learning Transferable Conceptual Prototypes for Interpretable Unsupervised Domain Adaptation [79.22678026708134]
  本稿では,Transferable Prototype Learning (TCPL) という,本質的に解釈可能な手法を提案する。 この目的を達成するために、ソースドメインからターゲットドメインにカテゴリの基本概念を転送する階層的なプロトタイプモジュールを設計し、基礎となる推論プロセスを説明するためにドメイン共有プロトタイプを学習する。 総合的な実験により,提案手法は有効かつ直感的な説明を提供するだけでなく,従来の最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T06:36:41Z)
• ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
  目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。 我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。 提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-07T11:18:53Z)
• Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation [70.85686267987744]
  教師なしのドメイン適応問題は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送することができる。 本稿では、翻訳された知識の謎を視覚的に明らかにする最初の試みとして、教師なしドメイン適応の解釈モデルを提案する。 提案手法は,ベースモデルの予測を直感的に説明し,画像パッチをソースドメインとターゲットドメインの両方で同一のセマンティクスとマッチングすることで伝達知識を公開する。
  論文  参考訳（メタデータ） (2023-03-04T03:02:12Z)
• Self-Optimizing Feature Transformation [33.458785763961004]
  特徴変換は、既存の特徴を数学的に変換することで、優れた表現(特徴)空間を抽出することを目的としている。 現在の研究は、ドメイン知識に基づく特徴工学や学習潜在表現に焦点を当てている。 特徴変換のための自己最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-16T16:50:41Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles [60.97922557957857]
  推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。 この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
  論文  参考訳（メタデータ） (2021-10-19T22:24:57Z)
• Off-Dynamics Reinforcement Learning: Training for Transfer with Domain Classifiers [138.68213707587822]
  強化学習におけるドメイン適応のためのシンプルで実践的で直感的なアプローチを提案する。 報酬関数を変更することで、力学の違いを補うことで、この目標を達成することができることを示す。 我々のアプローチは、連続状態とアクションを持つドメインに適用でき、ダイナミックスの明示的なモデルを学ぶ必要がない。
  論文  参考訳（メタデータ） (2020-06-24T17:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。