論文の概要: Got Compute, but No Data: Lessons From Post-training a Finnish LLM

• arxiv url: http://arxiv.org/abs/2503.09407v1
• Date: Wed, 12 Mar 2025 13:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:23.393447
• Title: Got Compute, but No Data: Lessons From Post-training a Finnish LLM
• Title（参考訳）: フィンランドのLLMのポストトレーニングから学んだこと
• Authors: Elaine Zosa, Ville Komulainen, Sampo Pyysalo,
• Abstract要約: 我々は多言語LLMを用いて、英語からフィンランド語への命令と好みのデータセットを翻訳する。 我々は、英語とフィンランド語で命令チューニングと好みの最適化を行い、両方の言語でモデルの指示追従能力を評価する。
• 参考スコア（独自算出の注目度）: 3.712226863354932
• License:
• Abstract: As LLMs gain more popularity as chatbots and general assistants, methods have been developed to enable LLMs to follow instructions and align with human preferences. These methods have found success in the field, but their effectiveness has not been demonstrated outside of high-resource languages. In this work, we discuss our experiences in post-training an LLM for instruction-following for English and Finnish. We use a multilingual LLM to translate instruction and preference datasets from English to Finnish. We perform instruction tuning and preference optimization in English and Finnish and evaluate the instruction-following capabilities of the model in both languages. Our results show that with a few hundred Finnish instruction samples we can obtain competitive performance in Finnish instruction-following. We also found that although preference optimization in English offers some cross-lingual benefits, we obtain our best results by using preference data from both languages. We release our model, datasets, and recipes under open licenses at https://huggingface.co/LumiOpen/Poro-34B-chat-OpenAssistant
• Abstract（参考訳）: LLMがチャットボットや一般的なアシスタントとして普及するにつれて、LLMが指示に従い、人間の好みに合わせる方法が開発されている。 これらの手法はこの分野で成功したが、その効果はオープンソース言語以外では実証されていない。 本研究は,英語とフィンランド語に対する指導追従のためのLLMのポストトレーニングの経験について考察する。 我々は多言語LLMを用いて、英語からフィンランド語への命令と好みのデータセットを翻訳する。 我々は、英語とフィンランド語で命令チューニングと好みの最適化を行い、両方の言語でモデルの指示追従能力を評価する。 この結果から,数百のフィンランド語指導サンプルを用いて,フィンランド語指導追従における競争性能を得ることができた。 また、英語の選好最適化は言語間利益をもたらすが、両方の言語からの選好データを用いて最良の結果を得ることができた。 当社のモデル、データセット、レシピは、https://huggingface.co/LumiOpen/Poro-34B-chat-OpenAssistantで公開されています。

関連論文リスト

• Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
  textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。 非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。 そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
  論文  参考訳（メタデータ） (2024-11-02T05:10:50Z)
• Multilingual Prompts in LLM-Based Recommenders: Performance Across Languages [0.0]
  この研究は、非英語のプロンプトがレコメンデーションパフォーマンスに与える影響を探求する。 ML1M、LastFM、Amazon-Beautyの3つの実世界のデータセットの評価は、非英語プロンプトの使用が一般的にパフォーマンスを低下させることを示した。 多言語プロンプトによるリトレーニングにより、言語間のバランスの取れたパフォーマンスが向上したが、英語のパフォーマンスはわずかに低下した。
  論文  参考訳（メタデータ） (2024-09-11T20:31:42Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• OpenLLM-Ro -- Technical Report on Open-source Romanian LLMs [11.689131290480619]
  大規模言語モデル(LLM)は、様々なタスクにおいて、ほぼ人間のようなパフォーマンスを実現している。 本論文では,ルーマニア語を専門とする最初の基礎的・チャット型LLMの学習と評価について述べる。
  論文  参考訳（メタデータ） (2024-05-13T12:46:11Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages [0.0]
  プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。 提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。 翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
  論文  参考訳（メタデータ） (2024-03-09T21:36:13Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning [46.153828074152436]
  我々は、低リソース言語における命令チューニングを強化するために、ピボット言語ガイド生成手法を提案する。 モデルを訓練して、まずピボット言語で命令を処理し、次にターゲット言語で応答を生成する。 提案手法は,LLMの命令追従能力が平均29%向上したことを示す。
  論文  参考訳（メタデータ） (2023-11-15T05:28:07Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。