論文の概要: APE: A Data-Centric Benchmark for Efficient LLM Adaptation in Text Summarization

• arxiv url: http://arxiv.org/abs/2505.19912v1
• Date: Mon, 26 May 2025 12:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.424543
• Title: APE: A Data-Centric Benchmark for Efficient LLM Adaptation in Text Summarization
• Title（参考訳）: APE:テキスト要約における効率的なLLM適応のためのデータ中心ベンチマーク
• Authors: Javier Marín,
• Abstract要約: APEは、最小限の計算資源を使用して、大きな言語モデルを特定のタスクに適応させる。 ニュース要約では、APEはわずか60分でT4 GPUを使用して、40%のBLEU改善を実現している。 オープンソースコードを提供し、自動メトリクスと人的評価の両方を通して、APEの有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.5439020425819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Adjacent Possible Exploration (APE), a simple yet effective method for adapting large language models to specific tasks using minimal computational resources. Unlike traditional fine-tuning that requires extensive compute, APE iteratively fine-tunes models on small, carefully selected data batches (200 examples), retaining only improvements. On news summarization, APE achieves 40 percent BLEU improvement using just a T4 GPU in 60 minutes, matching or exceeding more complex methods like LoRA while remaining conceptually simple. Our approach is particularly valuable for researchers and practitioners with limited computational resources. We provide open-source code and demonstrate APE's effectiveness through both automatic metrics and human evaluation. While inspired by evolutionary theory's "adjacent possible", APE's core insight has a very practical application: small, iterative data perturbations can efficiently guide LLMs toward task-specific performance without expensive retraining.
• Abstract（参考訳）: 本稿では,最小限の計算資源を用いて,大規模言語モデルを特定のタスクに適応させる簡易かつ効果的な手法であるAdjacent Possible Exploration(APE)を提案する。 大規模な計算を必要とする従来の微調整とは異なり、APEは小さな、慎重に選択されたデータバッチ(200例)で繰り返し微調整をし、改善のみを保持する。 ニュース要約では、APEは60分でわずかT4 GPUを使用して40%のBLEU改善を実現し、概念的にはシンプルでありながら、LoRAのようなより複雑なメソッドをマッチングまたは超える。 我々のアプローチは、限られた計算資源を持つ研究者や実践者にとって特に有用である。 オープンソースコードを提供し、自動メトリクスと人的評価の両方を通して、APEの有効性を実証する。 APEの中核となる洞察は、進化論の「可能」にインスパイアされたものの、非常に実践的な応用がある: 小さく反復的なデータ摂動は、高価な再トレーニングなしに、LCMをタスク固有のパフォーマンスへ効率的に導くことができる。

関連論文リスト

• FisherSFT: Data-Efficient Supervised Fine-Tuning of Language Models Using Information Gain [14.109309236798518]
  Supervised Fine-tuning (SFT) は、大規模言語モデル(LLM)を新しいドメインに適用するための標準的なアプローチである。 本研究では,SFTの統計的効率を向上させるために,学習例の有意なサブセットを選択する。
  論文  参考訳（メタデータ） (2025-05-20T18:41:34Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Adaptive Data Exploitation in Deep Reinforcement Learning [50.53705050673944]
  深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
  論文  参考訳（メタデータ） (2025-01-22T04:01:17Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
  大規模言語モデルのための新しいパラメータ効率訓練法を提案する。 従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。 本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
  論文  参考訳（メタデータ） (2024-11-13T13:53:10Z)
• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification [1.8567173419246403]
  Deep Active Learning (AL)は、ディープニューラルネットワークのトレーニングに要するアノテーションコストを最小限にすることを目指している。 Fisher Informationをベースにした最近提案されたAL戦略であるBAITは、さまざまなデータセットで素晴らしいパフォーマンスを示している。 本稿では,BAITの計算効率とスケーラビリティを向上する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T12:09:37Z)
• Fine-Grained Stateful Knowledge Exploration: A Novel Paradigm for Integrating Knowledge Graphs with Large Language Models [19.049828741139425]
  大きな言語モデル(LLM)は印象的な能力を示していますが、その知識を更新することは大きな課題です。 既存のほとんどのメソッドは、質問を目的として扱うパラダイムを使用し、関連する知識は知識グラフから漸進的に取得される。 本稿では,情報粒度ミスマッチ問題に対処する,微粒なステートフル知識探索のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-01-24T13:36:50Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• On Enforcing Better Conditioned Meta-Learning for Rapid Few-Shot Adaptation [31.471917430653626]
  我々は、最適化問題を非線形の最小二乗形式に再キャストすることで、メタラーニングモデルに対して$textitwell-conditioned$パラメータ空間を強制する原則的な方法が提供されることを実証する。 評価の結果,提案手法は初期適応段階において,制約のない手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-15T02:44:45Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
  本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。 本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。 最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2021-10-15T11:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。