Fugu-MT 論文翻訳(概要): Enhancing Japanese Large Language Models with Reasoning Vectors

論文の概要: Enhancing Japanese Large Language Models with Reasoning Vectors

arxiv url: http://arxiv.org/abs/2508.02913v1
Date: Mon, 04 Aug 2025 21:31:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-06 18:18:55.689634
Title: Enhancing Japanese Large Language Models with Reasoning Vectors
Title（参考訳）: 推論ベクトルを用いた日本語大言語モデルの強化
Authors: Carolina Minami Oguchi, Leo Wei, Koyo Kobayashi, Hsin-Tai Wu, Dipak Ghosal,
Abstract要約: ポストトレーニング手法は性能を改善し、主要な大規模言語モデル(LLM)の推論能力を向上した。本稿では,学習前後の重みの変化を抽出するタスクベクトルに着想を得た。利用可能なリソースは,日本語のLLMを改善するための課題であるが,高度に向上し,他の言語に刺激を与えるための,シンプルで効果的な方法が提示されている。
参考スコア（独自算出の注目度）: 1.3456699275044242
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Post-training methods have improved the performance and enhanced the reasoning capability for mainstream large language models (LLMs), but the same is challenging for Japanese LLMs to achieve due to the amount of resources required. Inspired by task vectors that extract the change of weights before and after training, specifically for a certain task, we obtain reasoning vectors from reasoning LLMs and apply them to Japanese LLMs to boost their performance. While the resources available present a challenge to improve Japanese LLMs, we present a simple and effective way to obtain high improvement and hope to inspire for other languages.
Abstract（参考訳）: ポストトレーニング手法は, 主要な大規模言語モデル(LLM)の性能向上と推論能力の向上を図っているが, 日本語のLLMでは, 必要なリソースの量のために実現が困難である。学習前後の重みの変化を抽出するタスクベクトル,特に特定のタスクに対してインスパイアされたタスクベクトルは,LLMの推論から推論ベクトルを取得し,それらを日本語のLLMに適用して性能を向上する。利用可能なリソースは,日本語のLLMを改善するための課題であるが,高度に向上し,他の言語に刺激を与えるための,シンプルで効果的な方法を提案する。

関連論文リスト

LLM Post-Training: A Deep Dive into Reasoning Large Language Models [131.10969986056]
大規模言語モデル (LLMs) は自然言語処理の状況を変え、多様な応用をもたらした。ポストトレーニング手法により、LLMは知識を洗練させ、推論を改善し、事実の正確性を高め、ユーザの意図や倫理的配慮をより効果的に整合させることができる。
論文参考訳（メタデータ） (2025-02-28T18:59:54Z)
Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging -- An Open Recipe [12.076338505539194]
本稿では,言語固有の大規模言語モデル(LLM)の推論能力の向上を目的とする。 DeepSeek R1は推論に優れていますが、主に英語や中国語のような高リソース言語にメリットがあります。低リソース言語は、英語中心のトレーニングデータとモデル最適化の優位性のため、いまだに保存されていない。
論文参考訳（メタデータ） (2025-02-13T08:10:45Z)
Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
論文参考訳（メタデータ） (2025-01-31T12:23:28Z)
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models [7.998168689120558]
大規模言語モデル(LLM)は、多数のNLPタスクにおいて例外的な機能を示す。英語以外の言語に対するそのようなモデルの有効性は制限されることが多い。能動的忘れを前提としたLLMは,新しい言語や目に見えない言語に適応する上で非常に有効であることを示す。
論文参考訳（メタデータ） (2024-10-21T16:33:16Z)
X-ALMA: Plug & Play Modules and Adaptive Rejection for Quality Translation at Scale [25.257770733168012]
大規模言語モデル(LLM)は、英語中心の事前学習と限定的な多言語データにより、様々なNLPタスクにおいて顕著な成功を収めている。 X-ALMA**は、50の多様な言語で最高のパフォーマンスを保証するために設計されたモデルです。
論文参考訳（メタデータ） (2024-10-04T03:17:27Z)
Exploring Design Choices for Building Language-Specific LLMs [36.32622880071991]
単言語モデルと多言語モデルを適用し,言語固有の言語モデルの構築について検討する。 LLMの初期性能は適応後の最終性能と必ずしも相関しないことがわかった。
論文参考訳（メタデータ） (2024-06-20T18:47:43Z)
Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
大きな言語モデル(LLM)は印象的な言語機能を示している。本研究では,LLMの自然多言語アライメント改善について検討する。質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
論文参考訳（メタデータ） (2024-05-22T16:46:19Z)
Dynamic data sampler for cross-language transfer learning in large language models [34.464472766868106]
ChatFlowは、言語間移動に基づく大規模言語モデル(LLM)である。我々は、LLaMA2モデルを継続的に訓練するために、中国語、英語、並列コーパスを組み合わせています。実験により,本手法はモデル収束を加速し,優れた性能を実現することを示す。
論文参考訳（メタデータ） (2024-05-17T08:40:51Z)
Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文参考訳（メタデータ） (2024-02-19T15:07:32Z)
Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。本稿では,LLMの連続学習に関する最近の研究について述べる。
論文参考訳（メタデータ） (2024-02-02T12:34:09Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文参考訳（メタデータ） (2023-07-29T18:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。