論文の概要: O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine

• arxiv url: http://arxiv.org/abs/2507.04895v1
• Date: Mon, 07 Jul 2025 11:28:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.400953
• Title: O_FT@EvalLLM2025 : étude comparative de choix de données et de stratégies d'apprentissage pour l'adaptation de modèles de langue à un domaine
• Title（参考訳）: O_FT@EvalLLM2025 : 法域と法域の比較
• Authors: Ismaël Rousseau, Claire Perroux, Pierre Adam, Thomas Girault, Lionel Delphin-Poulat, Morgan Veyret, Gwénolé Lecorvé, Géraldine Damnati,
• Abstract要約: 本稿では,O_FTチームがOrangeとOuest-Franceと共同で行なった,防衛領域への言語モデルの適用について述べる。 我々の適応の炭素フットプリントを考えると、この研究は比較的小さなモデルに対する領域適応の可能性を示している。
• 参考スコア（独自算出の注目度）: 0.8652712761235901
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper presents the work carried out by the O_FT team, joint with Orange and Ouest-France, on adapting language models to the defense domain as part of the EvalLLM2025 challenge. This work focused on adapting the \texttt{Mistral-7B-Instruct-v0.3} model using classical techniques of continued pre-training and instruction-tuning. The core of our efforts is based on collecting, generating, and selecting data for these two stages as well as for model evaluation. Experiments show that our adapted models have better domain-specific knowledge and improved domain-specific task processing skills, along with comparable (or even superior) performance on general knowledge and skills. Considering the carbon footprint of our adaptations, this work demonstrates the feasibility of domain adaptation for relatively small models. -- Ce document pr\'esente les travaux r\'ealis\'es par l'\'equipe O_FT conjointe \`a Orange et Ouest-France sur l'adaptation de mod\`eles de langue au domaine de la d\'efense dans le cadre du challenge EvalLLM2025. Ces travaux se sont concentr\'es sur l'adaptation du mod\`ele \texttt{Mistral-7B-Instruct-v0.3} avec des techniques classiques de poursuite du pr\'e-entra\^inement et d'affinage sur instructions. L'essentiel de nos travaux a port\'e sur la constitution, g\'en\'eration et s\'election de donn\'ees pour ces deux \'etapes ainsi que pour l'\'evaluation des mod\`eles. Les exp\'eriences montrent que nos mod\`eles adapt\'es ont de meilleures de connaissances de fond et une meilleure capacit\'e de traitement de t\^aches sur le domaine de la d\'efense, ainsi que des performances comparables (voire sup\'erieures) sur des connaissances ou capacit\'es g\'en\'eralistes. Mis au regard des empreintes carbones de nos adaptations, ces travaux d\'emontrent ainsi la viabilit\'e de l'adaptation \`a un domaine de mod\`eles relativement petits.
• Abstract（参考訳）: 本稿では,O_FTチームがOrangeとOuest-Franceと共同で実施した,EvalLLM2025チャレンジの一環として,言語モデルを防衛領域に適応する作業について述べる。 この研究は、継続事前学習と命令チューニングの古典的手法を用いて、 texttt{Mistral-7B-Instruct-v0.3} モデルを適応することに焦点を当てた。 私たちの取り組みの中核は、モデル評価だけでなく、これらの2つのステージのデータを収集し、生成し、選択することにあります。 実験により、我々の適応モデルはドメイン固有の知識が向上し、ドメイン固有のタスク処理スキルが向上し、一般的な知識やスキルに匹敵する(あるいはさらに優れている)性能が向上していることが示された。 我々の適応の炭素フットプリントを考えると、この研究は比較的小さなモデルに対する領域適応の可能性を示している。 --Ce document pr'esente les travaux r''ealis\'es par l'\equipe O_FT conjointe \`a Orange et Ouest-France sur l'adaptation de mod\`eles de langue au domaine de la d''efense dans le cadre du challenge EvalLLM2025。 Ces travaux se sont concentr\'s sur l'adaptation du mod\`ele \texttt{Mistral-7B-Instruct-v0.3} avec des techniques classiques de poursuite du pr\'e-entra\^inement et d'affinage sur instructions。 L'essentiel de nos travaux a port\'e sur la constitution, g\'en\'eration et s\'election de donn'ees pour ces deux \'etapes ainsi que pour l'\evaluation des mod\eles。 Les exp\'eriences montrent que nos mod\`eles adapt\'es ont de meilleures de connaisss de fond et une meilleure capacit\'e de traitement de t\^aches sur le domaine de la d\'efense, ainsi que des performances comparables (voire sup\'erieures) sur des connaissances ou capacit\'es g\en\eralistes カルボネート・ド・ノスの適応を解釈するミズ・アウ(Mis au consider des empreintes carbones de nos adaptations, ces travaux d''emontrent ainsi la viabilit\'e de l'adaptation \`a un domaine de mod\eles relativement petits)。

関連論文リスト

• Towards Compatible Fine-tuning for Vision-Language Model Updates [114.25776195225494]
  クラス条件付きコンテキスト最適化(ContCoOp)は、学習可能なプロンプトと、テキストエンコーダに入力する前に注意層を使用してクラス埋め込みを統合する。 15のデータセットで実験した結果,ContCoOpはベースライン法よりも高い互換性を示し,分布外一般化の堅牢性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-12-30T12:06:27Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation [9.574486521686323]
  Bonitoは、未注釈のテキストをタスク固有のトレーニングデータセットに変換する条件付きタスク生成のモデルである。 そこで,本研究では,自己教師付きベースライン上での事前学習モデルと指導モデルの平均性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T13:54:57Z)
• CLIN-X: pre-trained language models and a study on cross-task transfer for concept extraction in the clinical domain [22.846469609263416]
  事前学習したCLIN-X(Clinical XLM-R)言語モデルを導入し、CLIN-Xが他の事前学習したトランスフォーマーモデルよりも優れていることを示す。 本研究は,250のラベル付き文が利用可能である場合に,47F1ポイントまで改善された注釈付きデータがないにもかかわらず,安定したモデル性能を示す。 本研究は,非標準領域における概念抽出におけるCLIN-Xとしての特殊言語モデルの重要性を強調した。
  論文  参考訳（メタデータ） (2021-12-16T10:07:39Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。