論文の概要: Token Distribution versus Data Volume: Domain Balancing in Multi-Domain Meeting Summarisation

• arxiv url: http://arxiv.org/abs/2608.15935v1
• Date: Sun, 16 Aug 2026 21:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.474495
• Title: Token Distribution versus Data Volume: Domain Balancing in Multi-Domain Meeting Summarisation
• Title（参考訳）: Token Distribution vs Data Volume:Multi-Domain Meeting Summarisationにおけるドメインバランシング
• Abstract要約: 広く異なる大きさのミーティング・サマー化コーパスにLDMを併用して微調整を行うと、疑問が持ち上がる。 ドメインにまたがるトークンの配布による利益か、あるいは単にデータ量によって得られる利益か? 整合したトークン予算で、バランスの取れたトークンと自然な(固有な)トークンの混合を構築することで、これらの要因を解消する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Jointly fine-tuning an LLM on meeting-summarisation corpora of widely varying size raises a question that prior work leaves confounded: when a domain-balanced training mixture helps, is the gain due to the distribution of tokens across domains, or merely to the volume of data seen? We disentangle these factors by constructing balanced and natural (native-proportional) token mixtures at matched token budgets (2-32M) over five English meeting corpora, fine-tuning Mistral-7B with QLoRA, and evaluating per domain. Balancing redistributes quality, improving the data-scarce minority domains at a low cost to the data-rich ones. The trade favours balancing whenever the minority domains matter: their share under proportional allocation is fixed at 1-2% regardless of budget, so matching balanced quality on those domains requires far more total data. We further find that pruning low-value transcript lines removes ~15% of tokens from the conversational corpora at no measurable cost, and that balancing by tokens is not the same as balancing by examples. A two-annotator study of 741 judge-labelled facts validates our fact-level evaluation. Together these results give practitioners a basis for deciding when to balance an imbalanced multi-domain mixture, and on what unit.
• Abstract（参考訳）: ドメインバランスのトレーニングミックスが役に立つ場合、ドメイン間のトークンの分散による利益か、あるいは単にデータ量だけによる利益か? 一致したトークン予算(2-32M)で,5つの英語会議コーパス,QLoRAを用いた微調整Mistral-7B,ドメイン単位の評価を行い,これらの要因を解消する。 品質を再分配し、データ不足のマイノリティドメインを、データ豊富なドメインに対して低コストで改善する。 この取引は、少数ドメインが重要となるたびにバランスをとることを好んでおり、その割合は予算にかかわらず1-2%で固定されているため、これらのドメインのバランスの取れた品質は、はるかに多くのデータを必要とする。 さらに,低値の転写ラインを切断することで,対話コーパスからトークンの15%を計測不可能なコストで取り除き,トークンによるバランスは例によるバランスと同じではないことがわかった。 741件の判断ラベル付き事実の2つの注釈付き研究は、我々の事実レベル評価を検証している。 これらの結果は、不均衡なマルチドメインの混合物と、どのユニットでいつバランスをとるかを決めるための基礎となる。

関連論文リスト

• Scaling Domain Data Repetition in LLM Pretraining [18.481235801370826]
  高品質なドメインデータは一般的なWebデータよりもスケールがはるかに難しい。 モデルサイズとトレーニングトーケン予算が増加するにつれて、トレーニングミックスの比率は減少する傾向にある。 より小さなプロキシモデル(mathrmTPP)で調整された繰り返し回数は、より大きなモデルに対して実用的な見積もりを提供することができる。
  論文  参考訳（メタデータ） (2026-08-14T08:27:15Z)
• Multi-Level Analyzation of Imbalance to Resolve Non-IID-Ness in Federated Learning [4.791233143264229]
  クラス不均衡は、パフォーマンスを著しく低下させるディープラーニングにおける一般的な問題である。 我々はPNB損失関数とCBR損失関数の2つの主成分からなるFedBBを提案する。 X線および自然画像データセットに関する様々な実験により、FedBBはパフォーマンスと効率の両方で他のアルゴリズムより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-06-08T23:36:29Z)
• Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
  LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。 対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
  論文  参考訳（メタデータ） (2026-03-03T03:34:06Z)
• Olmix: A Framework for Data Mixing Throughout LM Development [90.12613780066063]
  Olmixは、トレーニング言語モデルにおけるデータミキシングの問題に対処するフレームワークである。 既存のメソッドにまたがる設計選択には正当化やコンセンサスがなく、データ制約のような実践的な問題を見落としている。 既存の比率を再利用し、更新によって影響を受けるドメインに対してのみ比率を再計算するメカニズムである混合再利用を導入する。
  論文  参考訳（メタデータ） (2026-02-12T18:16:05Z)
• HDEE: Heterogeneous Domain Expert Ensemble [0.3641292357963815]
  いくつかの研究は、密集モデルの訓練における通信オーバーヘッドを低減し、集中化への依存を減らすことを目的としている。 通信オーバーヘッドを自然な極端に削減するというこの考え方は、従来の集中的な設定で訓練された大規模な密集モデルよりも優れていることが示されている。 評価に使用する21ドルのデータドメインのうち, 不均一なアンサンブルが20ドルで最も低いパープレキシティスコアを達成していることを示す。
  論文  参考訳（メタデータ） (2025-02-26T18:30:49Z)
• Rethinking the Bias of Foundation Model under Long-tailed Distribution [18.80942166783087]
  本稿では,事前学習による不均衡が長時間の下流作業にどのように影響するかを検討する。 下流タスクの基盤モデルで継承される不均衡バイアスはパラメータ不均衡とデータ不均衡である。 本稿では,入力サンプルとラベル間の真の因果関係を学習する新しいバックドア調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T11:00:19Z)
• CLIP the Bias: How Useful is Balancing Data in Multimodal Learning? [72.19502317793133]
  比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性について検討する。 表現バイアスと相関バイアスの両方を低減するために,Multi-Modal Moment Matching (M4) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T14:43:17Z)
• FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation [6.3434032890855345]
  フェデレートされたドメイン適応は、クライアント間のラベルの不均衡の頻度のため、ユニークなミニマックストレーニングタスクである。 本稿では,フェデレーション適応問題に特化して設計されたFedMMと呼ばれる分散ミニマックスドメインを提案する。 我々はFedMMがドメインシフトした教師なしデータで定常点への収束を保証することを証明した。
  論文  参考訳（メタデータ） (2021-10-16T05:32:03Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
  本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。 具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。 本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-23T06:29:09Z)
• A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
  この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。 本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。 複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
  論文  参考訳（メタデータ） (2020-03-05T11:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。