論文の概要: Reverse Modeling in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.09817v2
• Date: Sun, 23 Feb 2025 12:25:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:48:24.562793
• Title: Reverse Modeling in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける逆モデリング
• Authors: Sicheng Yu, Yuanchen Xu, Cunxiao Du, Yanying Zhou, Minghui Qiu, Qianru Sun, Hao Zhang, Jiawei Wu,
• Abstract要約: 人間は前もって読み書きに慣れている。 本稿では,自己回帰型大規模言語モデル (LLM) が逆モデリングに苦しむかを検討する。
• 参考スコア（独自算出の注目度）: 39.18082267850437
• License:
• Abstract: Humans are accustomed to reading and writing in a forward manner, and this natural bias extends to text understanding in auto-regressive large language models (LLMs). This paper investigates whether LLMs, like humans, struggle with reverse modeling, specifically with reversed text inputs. We found that publicly available pre-trained LLMs cannot understand such inputs. However, LLMs trained from scratch with both forward and reverse texts can understand them equally well during inference across multiple languages. Our case study shows that different-content texts result in different losses if input (to LLMs) in different directions -- some get lower losses for forward while some for reverse. This leads us to a simple and nice solution for data selection based on the loss differences between forward and reverse directions. Using our selected data in continued pretraining can boost LLMs' performance by a large margin across different language understanding benchmarks.
• Abstract（参考訳）: 人間は前方の読み書きに慣れており、この自然なバイアスは、自動回帰的大言語モデル(LLM)におけるテキスト理解にまで及ぶ。 本稿では,LLMが人間と同様,逆モデリング,特に逆テキスト入力に苦慮しているかどうかを考察する。 事前学習したLLMはそのような入力を理解できないことがわかった。 しかし、前方テキストと逆テキストの両方でスクラッチからトレーニングされたLLMは、複数の言語をまたがる推論において、それらを同じように理解することができる。 我々のケーススタディでは、異なる内容のテキストが異なる方向の入力(LLMへの)で異なる損失をもたらすことが示されています。 これにより、前方方向と逆方向の損失差に基づいた、単純で優れたデータ選択ソリューションが得られます。 継続事前トレーニングで選択したデータを使用することで、LLMのパフォーマンスを異なる言語理解ベンチマーク間で大きなマージンで向上させることができる。

関連論文リスト

• Do LLMs write like humans? Variation in grammatical and rhetorical styles [0.7852714805965528]
  大規模言語モデル(LLM)の修辞形式について検討する。 ダグラス・ビーバーの語彙的・文法的・修辞的特徴セットを用いて, LLMと人間との系統的差異を同定した。 このことは、高度な能力にもかかわらず、LLMは人間のスタイルに合うのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-21T15:35:44Z)
• Robustness of LLMs to Perturbations in Text [2.0670689746336]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop [0.8602553195689513]
  本稿では,Large Language Models (LLM) の自己消費学習ループについて検討する。 本稿では,LLM生成コンテンツの正確性を明確に検証できる論理式に基づく新しい手法を提案する。 自己消費学習ループは正しい出力を生成するが、使用データの割合によって出力の多様性は低下する。
  論文  参考訳（メタデータ） (2023-11-28T14:36:43Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。