Fugu-MT 論文翻訳(概要): Self-Foveate: Enhancing Diversity and Difficulty of Synthesized Instructions from Unsupervised Text via Multi-Level Foveation

論文の概要: Self-Foveate: Enhancing Diversity and Difficulty of Synthesized Instructions from Unsupervised Text via Multi-Level Foveation

arxiv url: http://arxiv.org/abs/2507.23440v1
Date: Thu, 31 Jul 2025 11:18:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-01 17:19:09.618809
Title: Self-Foveate: Enhancing Diversity and Difficulty of Synthesized Instructions from Unsupervised Text via Multi-Level Foveation
Title（参考訳）: 自己表現:多層展開による教師なしテキストからの合成命令の多様性向上と難易度向上
Authors: Mingzhe Li, Xin Lu, Yanyan Zhao,
Abstract要約: 命令追従能力を持つ大規模言語モデル(LLM)は、目覚ましい問題解決能力を示している。従来の手法は、データアノテーションに対する人間の努力に大きく依存している。命令合成のための革新的なLCM駆動方式であるSelf-Foveateを提案する。
参考スコア（独自算出の注目度）: 19.913806733495488
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) with instruction following capabilities have demonstrated impressive problem-solving abilities. While synthesizing instructional data from unsupervised text has become a common approach for training such models, conventional methods rely heavily on human effort for data annotation. Although existing automated synthesis paradigms have alleviated this constraint, they still exhibit significant limitations in ensuring adequate diversity and difficulty of synthesized instructions. To address these challenges, we propose Self-Foveate, an innovative LLM-driven method for instruction synthesis. This approach introduces a "Micro-Scatter-Macro" multi-level foveation methodology that effectively guides the LLM to deeply excavate fine-grained information embedded in unsupervised text, thereby enhancing both the diversity and difficulty of synthesized instructions. Comprehensive experiments across multiple unsupervised corpora and diverse model architectures validate the effectiveness and superiority of our proposed method. We publicly release our data and codes: https://github.com/Mubuky/Self-Foveate
Abstract（参考訳）: 命令追従能力を持つ大規模言語モデル(LLM)は、目覚ましい問題解決能力を示している。教師なしテキストから命令データを合成することは、そのようなモデルを訓練するための一般的なアプローチとなっているが、従来の手法はデータアノテーションに対する人間の努力に大きく依存している。既存の自動合成パラダイムは、この制約を緩和したものの、十分な多様性と合成命令の難しさを保証するために、かなりの制限を課している。これらの課題に対処するため、我々は、命令合成のための革新的なLCM駆動方式であるSelf-Foveateを提案する。このアプローチでは,LLMを効果的に誘導し,教師なしテキストに埋め込まれたきめ細かい情報を深く掘り起こし,合成命令の多様性と難易度を両立させる「マイクロ散乱マクロ」多層ファベーション手法を導入する。複数の教師なしコーパスと多種多様なモデルアーキテクチャの総合的な実験により,提案手法の有効性と優位性を検証した。 https://github.com/Mubuky/Self-Foveate

関連論文リスト

Towards Efficient and Effective Alignment of Large Language Models [7.853945494882636]
大規模言語モデル(LLM)は多様なタスクにまたがる優れた能力を示すが、それらを効率的かつ効果的に人間の期待に合わせることは重要な課題である。この論文は、データ収集、トレーニング、評価において新しい方法論を導入することで、LCMアライメントを推し進める。
論文参考訳（メタデータ） (2025-06-11T02:08:52Z)
MentalMAC: Enhancing Large Language Models for Detecting Mental Manipulation via Multi-Task Anti-Curriculum Distillation [12.845142027768881]
精神的な操作は微妙だが広範囲にわたる心理的虐待であり、精神的な健康に深刻な脅威をもたらす。 MentalMACはマルチタスクの反キュリキュラム蒸留法であり、マルチターン対話におけるメンタル操作の検出能力を高める。 i)進化的操作と音声行動理論に基づく教師なしデータ拡張手法であるEvoSA,(ii)教師モデルによるマルチタスク監視,(iii)複雑なタスクから単純なタスクへの進化的知識の蒸留。
論文参考訳（メタデータ） (2025-05-21T08:34:06Z)
SMOTExT: SMOTE meets Large Language Models [19.394116388173885]
本稿では,SMOTE(Synthetic Minority Over-sampling)の概念をテキストデータに適用する新しい手法SMOTExTを提案する。提案手法は,既存の2つの例のBERTベースの埋め込みを補間することにより,新しい合成例を生成する。初期の実験では、生成されたデータのみを対象としたトレーニングモデルは、元のデータセットでトレーニングされたモデルと同等のパフォーマンスを達成した。
論文参考訳（メタデータ） (2025-05-19T17:57:36Z)
Enhancing Complex Instruction Following for Large Language Models with Mixture-of-Contexts Fine-tuning [13.56631686493347]
訓練後の大規模言語モデル(LLM)は、一貫して複雑な命令に従うのに苦労する可能性がある。本稿では,逐次的に構造化された入力命令を,サブコンテキストを含む複数の並列命令に変換することを提案する。 MISOは、SFTの有効性を高めるために、全体的な命令出力アライメントと個々のサブコンテキストの影響を共同で検討する混合コンテキストパラダイムを導入している。
論文参考訳（メタデータ） (2025-05-17T09:13:47Z)
Synthetic Data Generation Using Large Language Models: Advances in Text and Code [0.0]
大規模言語モデル(LLM)は、自然言語とコードドメインの両方で合成トレーニングデータ生成を変換している。我々は、プロンプトベースの生成、検索拡張パイプライン、反復的な自己精製といった重要なテクニックを強調した。本稿では,生成テキストにおける事実的不正確性,文体的あるいは分布的リアリズムの不足,バイアス増幅のリスクなど,関連する課題について論じる。
論文参考訳（メタデータ） (2025-03-18T08:34:03Z)
Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
論文参考訳（メタデータ） (2025-02-19T12:07:53Z)
SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文参考訳（メタデータ） (2024-08-28T06:33:03Z)
A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
論文参考訳（メタデータ） (2024-08-05T23:20:32Z)
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning [62.05713042908654]
本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-24T15:13:53Z)
Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
論文参考訳（メタデータ） (2024-02-08T03:41:39Z)
MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文参考訳（メタデータ） (2023-07-16T05:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。