論文の概要: Relative Overfitting and Accept-Reject Framework

• arxiv url: http://arxiv.org/abs/2505.07783v2
• Date: Fri, 16 May 2025 12:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 12:32:17.877457
• Title: Relative Overfitting and Accept-Reject Framework
• Title（参考訳）: 相対オーバーフィッティングとアクセプション・リジェクト・フレームワーク
• Authors: Yanxin Liu, Yunqi Zhang,
• Abstract要約: 性能上の利点と欠点のあるモデルの違いについて検討する。 その補完的な強みに基づいて、アプリケーションフレームワークであるAccept-Rejectを提案しました。 メインストリームアーキテクチャと事前学習されたメインストリームモデルに基づいた自己構築モデルを使用して、アプローチを検証する。
• 参考スコア（独自算出の注目度）: 5.465098504510676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Currently, the scaling law of Large Language Models (LLMs) faces challenges and bottlenecks. This paper posits that noise effects, stemming from changes in the signal-to-noise ratio under diminishing marginal returns, are the root cause of these issues. To control this noise, we investigated the differences between models with performance advantages and disadvantages, introducing the concept of "relative overfitting." Based on their complementary strengths, we have proposed an application framework, Accept-Reject (AR). In Natural Language Processing (NLP), we use LLMs and Small Language Models (SLMs) as the medium for discussion. This framework enables SLMs to exert a universal positive influence on LLM decision outputs, rather than the intuitively expected negative influence. We validated our approach using self-built models based on mainstream architectures and pre-trained mainstream models across multiple datasets, including basic language modeling, long-context tasks, subject examination, and question-answering (QA) benchmarks. The results demonstrate that through our structure, compared to increasing the LLM's parameters, we can achieve better performance improvements with significantly lower parameter and computational costs in many scenarios. These improvements are universal, stable, and effective. Furthermore, we explore the potential of "relative overfitting" and the AR framework in other machine learning domains, such as computer vision (CV) and AI for science. We hope the proposed approach can help scale laws overcome existing bottlenecks.
• Abstract（参考訳）: 現在、LLM(Large Language Models)のスケーリング法則は、課題とボトルネックに直面している。 本稿では,信号対雑音比の変化に起因した雑音効果が,これらの問題の根本原因であることを示す。 このノイズを制御するため、性能上の利点と欠点のあるモデルの違いを調査し、「相対オーバーフィッティング」の概念を導入した。 その補完的な強みに基づいて、アプリケーションフレームワークであるAccept-Reject(AR)を提案しました。 自然言語処理(NLP)では,LLMとSmall Language Models(SLM)を議論の媒体として使用しています。 この枠組みにより、SLMは直感的に予測される負の影響ではなく、LCM決定出力に普遍的な正の影響を与えることができる。 我々は,基本言語モデリング,長期コンテキストタスク,主観的調査,質問応答(QA)ベンチマークなど,複数のデータセットにまたがる,主流アーキテクチャと事前学習された主流モデルに基づく自己構築モデルを用いて,アプローチを検証する。 その結果,LLMのパラメータの増加に比較して,多くのシナリオにおいてパラメータや計算コストを大幅に削減して,優れた性能向上を実現することができた。 これらの改善は普遍的で、安定し、効果的です。 さらに、コンピュータビジョン(CV)や科学のためのAIなど、他の機械学習領域における「相対オーバーフィッティング」とARフレームワークの可能性についても検討する。 提案されたアプローチが,既存のボトルネックを克服する上で,法律のスケールを支援することを願っています。

関連論文リスト

• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Performance evaluation of SLAM-ASR: The Good, the Bad, the Ugly, and the Way Forward [10.914414815406275]
  近年,音声基盤エンコーダと大規模言語モデル(LLM)の線形接続を訓練することで,このアーキテクチャが強力なASR機能を実現することが実証されている。 印象的な結果にもかかわらず、これらの単純なアプローチが様々なシナリオや発話条件で十分に堅牢であるかどうかは不明だ。 本稿ではSLAM-ASRアーキテクチャを効果的に活用する方法に関する知見を提供する。
  論文  参考訳（メタデータ） (2024-11-06T12:22:04Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Can formal argumentative reasoning enhance LLMs performances? [0.3659498819753633]
  本稿では,Large Language Models (LLM) の性能に及ぼす計算論証セマンティクスの導入効果を評価するパイプライン (MQArgEng) を提案する。 調査の結果、MQArgEngは、調査対象のトピックのカテゴリの大部分で適度なパフォーマンス向上をもたらし、将来性を示し、さらなる研究を保証していることが示された。
  論文  参考訳（メタデータ） (2024-05-16T22:09:31Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• CogBench: a large language model walks into a psychology lab [12.981407327149679]
  本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。 本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。 オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
  論文  参考訳（メタデータ） (2024-02-28T10:43:54Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。