論文の概要: Typhoon T1: An Open Thai Reasoning Model

• arxiv url: http://arxiv.org/abs/2502.09042v2
• Date: Thu, 27 Mar 2025 06:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:21.754000
• Title: Typhoon T1: An Open Thai Reasoning Model
• Title（参考訳）: Typhoon T1:タイのオープンな推論モデル
• Authors: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul,
• Abstract要約: 推論モデルは、最終回答に到達する前に、長いチェーンの思考を生成する。 台風T1号はタイのオープン推論モデルを開発するためのオープンな取り組みを提示している。
• 参考スコア（独自算出の注目度）: 12.076338505539194
• License:
• Abstract: This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.
• Abstract（参考訳）: 本稿ではタイのオープン推論モデルを開発するためのオープンな取り組みであるTyphoon T1を紹介する。 推論モデルは、大きな言語モデル(LLM)の上に構築された比較的新しい生成モデルである。 推論モデルは、最終回答に到達する前に、複雑なタスクのパフォーマンスを改善するアプローチとして、長いチェーンの思考を生成する。 しかし、そのようなモデルの開発の詳細は、特に低リソース言語でトレースを生成することができる推論モデルについて限定されている。 台風T1は、強化学習ではなく、オープンデータセットを用いた教師付き微調整を活用することにより、推論モデルの開発の詳細をよりコスト効率の良い方法で掘り下げるオープンな取り組みを提示している。 本稿では、合成データ生成とトレーニングの詳細と、データセットとモデルウェイトについて説明する。 さらに、タイ語を例に、ドメインをまたいで一般化し、低リソース言語で推論トレースを生成することができる推論モデルの開発から得られる洞察を提供する。 このオープンな取り組みが、この分野のさらなる研究の基盤となることを願っています。

関連論文リスト

• ChuXin: 1.6B Technical Report [7.03872473285061]
  ChuXinは16億のパラメータを持つ完全にオープンソースな言語モデルである。 トレーニングデータ、トレーニングプロセス、評価コードなど、モデルをトレーニングするために必要なものはすべて用意しました。
  論文  参考訳（メタデータ） (2024-05-08T05:54:44Z)
• Rules still work for Open Information Extraction [0.0]
  本稿では,中国語テキストに適した革新的なオープン情報抽出モデルであるAPRCOIEを提案する。 モデルをトレーニングするために,大規模な中国語OIEデータセットを手動でアノテートした。 比較評価では、APRCOIEが現在の中国のOIEモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-16T01:40:36Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Legal-Tech Open Diaries: Lesson learned on how to develop and deploy light-weight models in the era of humongous Language Models [10.086015702323971]
  私たちは、現代の法律技術スタートアップのR&Dグループのステップに従い、モデル開発とデプロイメントに関する重要な洞察を示します。 我々は、契約書や規制書に適合する複数のドメイン固有の多言語LMを事前訓練することで、ゼロから始める。 5つのダウンストリームタスクからなる半公的な半私的法定ベンチマークにおいて,そのようなモデルのベンチマーク結果を示す。
  論文  参考訳（メタデータ） (2022-10-24T10:08:59Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。