論文の概要: RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services
- arxiv url: http://arxiv.org/abs/2507.10605v1
- Date: Sun, 13 Jul 2025 02:22:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:02.77069
- Title: RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services
- Title（参考訳）: RedOne:ソーシャルネットワークサービスにおけるドメイン固有のLLMポストトレーニングの展開
- Authors: Fei Zhao, Chonggang Lu, Yue Wang, Zheyong Xie, Ziyan Liu, Haofu Qian, JianZhao Huang, Fangcheng Shi, Zijie Meng, Hongcheng Guo, Mingqian He, Xinze Lyu, Yiming Lu, Ziyang Xiang, Zheyu Ye, Chengqiang Lu, Zhe Xu, Yi Wu, Yao Hu, Yan Gao, Jun Fan, Xiaolong Jiang, Weiting Liu, Boyang Wang, Shaosheng Cao,
- Abstract要約: ソーシャルネットワーキングサービス(SNS)のためのドメイン固有言語モデルRedOneを紹介する。
RedOneは、継続事前トレーニング、教師付き微調整、優先度最適化からなる3段階のトレーニング戦略によって開発された。
8つの主要なSNSタスクで平均14.02%、SNSバイリンガル評価ベンチマークで7.56%の改善が達成されている。
- 参考スコア（独自算出の注目度）: 31.118689614234196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a primary medium for modern information dissemination, social networking services (SNS) have experienced rapid growth, which has proposed significant challenges for platform content management and interaction quality improvement. Recently, the development of large language models (LLMs) has offered potential solutions but existing studies focus on isolated tasks, which not only encounter diminishing benefit from the data scaling within individual scenarios but also fail to flexibly adapt to diverse real-world context. To address these challenges, we introduce RedOne, a domain-specific LLM designed to break the performance bottleneck of single-task baselines and establish a comprehensive foundation for the SNS. RedOne was developed through a three-stage training strategy consisting of continue pretraining, supervised fine-tuning, and preference optimization, using a large-scale real-world dataset. Through extensive experiments, RedOne maintains strong general capabilities, and achieves an average improvement up to 14.02% across 8 major SNS tasks and 7.56% in SNS bilingual evaluation benchmark, compared with base models. Furthermore, through online testing, RedOne reduced the exposure rate in harmful content detection by 11.23% and improved the click page rate in post-view search by 14.95% compared with single-tasks finetuned baseline models. These results establish RedOne as a robust domain-specific LLM for SNS, demonstrating excellent generalization across various tasks and promising applicability in real-world scenarios.
- Abstract（参考訳）: ソーシャルネットワーキングサービス(SNS)は,現代の情報発信の媒体として急速に成長し,プラットフォームコンテンツ管理やインタラクション品質向上に重要な課題が提案されている。
近年,大規模言語モデル (LLM) の開発は潜在的な解決策を提供しているが,既存の研究では,個々のシナリオにおけるデータスケーリングのメリットの低下に直面するだけでなく,さまざまな実世界のコンテキストに柔軟に対応できない,孤立したタスクに重点を置いている。
これらの課題に対処するために、単一タスクベースラインのパフォーマンスボトルネックを克服し、SNSの包括的な基盤を確立するために設計された、ドメイン固有のLLMであるRedOneを紹介します。
RedOneは、大規模な実世界のデータセットを使用して、継続事前トレーニング、教師付き微調整、優先度最適化からなる3段階のトレーニング戦略によって開発された。
広範な実験を通じて、RedOneは強力な汎用能力を維持し、ベースモデルと比較して8つの主要なSNSタスクの平均14.02%、SNSバイリンガル評価ベンチマークの7.56%を達成している。
さらに、オンラインテストにより、RedOneは有害なコンテンツ検出における露出率を11.23%削減し、シングルタスクの微調整ベースラインモデルと比較して、ポストビュー検索におけるクリックページレートを14.95%改善した。
これらの結果は、SNS用の堅牢なドメイン固有LLMとしてRedOneを確立し、様々なタスクにまたがる優れた一般化と、現実のシナリオにおける有望な適用性を示す。
関連論文リスト
- Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。
VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。
本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
論文 参考訳（メタデータ） (2025-08-06T09:03:10Z) - WeThink: Toward General-purpose Vision-Language Reasoning via Reinforcement Learning [17.459985667824807]
DeepSeek-R1のようなテキストベースの推論モデルの成功に基づいて、これらの機能をマルチモーダル推論に拡張することは大きな約束である。
本稿では,強化学習を通じて汎用的な視覚言語推論を実現する方法について述べる。
論文 参考訳（メタデータ） (2025-06-09T16:20:54Z) - SOAEsV2-7B/72B: Full-Pipeline Optimization for State-Owned Enterprise LLMs via Continual Pre-Training, Domain-Progressive SFT and Distillation-Enhanced Speculative Decoding [10.38247266103905]
本研究は、中国国有資産企業(SOAE)向けドメイン固有大規模言語モデル(LLM)開発における重要な課題に対処する。
我々の研究は、SOAEs LLMを最適化するための包括的な完全なパイプラインアプローチを導入し、汎用言語能力とドメイン固有の専門知識のギャップを埋めます。
論文 参考訳（メタデータ） (2025-05-07T18:21:47Z) - Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
既存の堅牢なベンチマークデータセットには2つの重要な制限がある。
単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。
LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。
データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
論文 参考訳（メタデータ） (2025-03-05T05:39:29Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation [8.661419320202787]
MS-MARCOのような大規模タスク固有のトレーニングデータで事前訓練された最先端のニューラルローダーは、ドメイン適応なしで様々なランク付けタスクに強いパフォーマンスを示すことが示されている(ゼロショットとも呼ばれる)。
本稿では,従来の文献における重要なギャップに対処する,ランク付けのための教師なしドメイン適応手法であるDUQGenを提案する。
論文 参考訳（メタデータ） (2024-04-03T05:50:42Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - NetLLM: Adapting Large Language Models for Networking [36.61572542761661]
我々は,ネットワーク問題を解決するために低努力でLLMの強力な能力を活用するためのコヒーレントな設計を提供する最初のフレームワークであるNetLLMを紹介する。
具体的には、NetLLMはLLMにネットワーク上のマルチモーダルデータを効果的に処理し、タスク固有の回答を効率的に生成する権限を与える。
論文 参考訳（メタデータ） (2024-02-04T04:21:34Z) - Overcoming Recency Bias of Normalization Statistics in Continual
Learning: Balance and Adaptation [67.77048565738728]
継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。
本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。
提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-10-13T04:50:40Z) - Analysis of the Reasoning with Redundant Information Provided Ability of
Large Language Models [0.0]
大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。
このギャップに対処するため,Reasoning with Redundant Information Provided (RRIP) と呼ばれる新しいQAタスクが導入された。
本研究は,LlaMA2-13B-chatとGPT-3.5 (generative pre-trained transformer 3.5)の2つのLLMを評価し,従来のQAタスクとRRIPタスクとの対比を行った。
論文 参考訳（メタデータ） (2023-10-06T06:20:06Z) - Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。
我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。
我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
論文 参考訳（メタデータ） (2023-07-28T16:03:28Z) - Compressing Cross-Lingual Multi-Task Models at Qualtrics [6.082064834250784]
本稿では,12言語で複数の分類タスクを効率的に行うテキスト解析アプリケーションの構築事例について述べる。
言語間およびマルチタスクモデリング技術を活用して、モデルを単一デプロイメントに統合し、オーバーヘッドを回避する。
論文 参考訳（メタデータ） (2022-11-29T04:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。