論文の概要: Metadata Conditioned Large Language Models for Localization

• arxiv url: http://arxiv.org/abs/2601.15236v1
• Date: Wed, 21 Jan 2026 18:20:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.487989
• Title: Metadata Conditioned Large Language Models for Localization
• Title（参考訳）: 局所化のためのメタデータ条件付き大規模言語モデル
• Authors: Anjishnu Mukherjee, Ziwei Zhu, Antonios Anastasopoulos,
• Abstract要約: メタデータ条件付けは、領域間一般化を犠牲にすることなく、領域内性能を継続的に改善することを示す。 我々のアブレーション研究は、URLレベルのメタデータだけで地理的信号の多くをキャプチャすることを示した。 命令チューニングの後、メタデータ条件付きグローバルモデルはLLaMA-3.2-1B-インストラクトに匹敵する精度を達成する。
• 参考スコア（独自算出の注目度）: 25.913929585741034
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are typically trained by treating text as a single global distribution, often resulting in geographically homogenized behavior. We study metadata conditioning as a lightweight approach for localization, pre-training 31 models (at 0.5B and 1B parameter scales) from scratch on large-scale English news data annotated with verified URLs, country tags, and continent tags, covering 4 continents and 17 countries. Across four controlled experiments, we show that metadata conditioning consistently improves in-region performance without sacrificing cross-region generalization, enables global models to recover localization comparable to region-specific models, and improves learning efficiency. Our ablation studies demonstrate that URL-level metadata alone captures much of the geographic signal, while balanced regional data coverage remains essential, as metadata cannot fully compensate for missing regions. Finally, we introduce a downstream benchmark of 800 localized news MCQs and show that after instruction tuning, metadata conditioned global models achieve accuracy comparable to LLaMA-3.2-1B-Instruct, despite being trained on substantially less data. Together, these results establish metadata conditioning as a practical and compute-efficient approach for localization of language models.
• Abstract（参考訳）: 大きな言語モデルは典型的には、テキストを単一のグローバルな分布として扱うことで訓練され、しばしば地理的に均質化された振る舞いをもたらす。 4大陸17ヶ国にまたがる,認証されたURL,国タグ,大陸タグを付加した大規模英語ニュースデータをスクラッチから31モデル(0.5Bおよび1Bパラメータスケール)を事前学習し,ローカライゼーションのための軽量なアプローチとしてメタデータ条件付けについて検討した。 4つの制御された実験において、メタデータ条件付けは、領域間一般化を犠牲にすることなく、領域内性能を一貫して改善し、グローバルモデルが領域固有のモデルに匹敵する局所化を回復し、学習効率を向上することを示した。 本稿では,URLレベルのメタデータのみが地理的信号の大部分をキャプチャする一方で,メタデータが欠落した地域に対して完全に補償できないため,バランスの取れた地域データカバレッジは依然として不可欠であることを示す。 最後に、800のローカルニュースMCQのダウンストリームベンチマークを導入し、命令チューニング後、メタデータ条件付きグローバルモデルがLLaMA-3.2-1B-Instructに匹敵する精度を得ることを示した。 これらの結果は,言語モデルのローカライズのための実用的で計算効率のよいアプローチとして,メタデータコンディショニングを確立した。

関連論文リスト

• Generalizable Slum Detection from Satellite Imagery with Mixture-of-Experts [20.100765943688454]
  GRAMは、2段階のテスト時間適応フレームワークであり、ターゲット領域からのラベル付きデータを必要とせずに堅牢なスラムセグメンテーションを可能にする。 ソーストレーニングには,4大陸12都市を対象とした,100万規模の衛星データデータセットを使用します。 適応の間、専門家間の予測整合性は信頼できない擬似ラベルをフィルタリングし、モデルがこれまで見られなかった領域に効果的に一般化することを可能にする。
  論文  参考訳（メタデータ） (2025-11-13T13:35:50Z)
• Enhancing the Performance of Global Model by Improving the Adaptability of Local Models in Federated Learning [5.783667435751743]
  フェデレートラーニングは、クライアントがローカルモデルから集約されたグローバルモデルを協調的にトレーニングすることを可能にする。 クライアント上の不均一なデータ分布とフェデレートラーニングにおけるデータプライバシのため,ローカルモデルをトレーニングして,優れたグローバルモデルを実現することは困難である。 我々は,局所モデルの適応性を導入し,局所モデルの適応性を向上させることでグローバルモデルの性能を向上させる。
  論文  参考訳（メタデータ） (2025-05-15T09:51:47Z)
• Subgraph Federated Learning for Local Generalization [41.64806982207585]
  グラフ上のフェデレートラーニング(FL)により、各クライアントのプライバシを損なうことなく、協調モデルトレーニングによってパフォーマンスを向上させることができる。 既存の手法は、しばしばグラフデータの不変性を見落とし、しばしば新しいノードを導入し、ラベルの分布の変化につながる。 提案手法であるFedLoGは,局所的なオーバーフィッティングを軽減し,この問題に効果的に対処する。
  論文  参考訳（メタデータ） (2025-03-06T01:08:01Z)
• Metadata Conditioning Accelerates Language Model Pre-training [76.54265482251454]
  そこで本研究では,Metadata Conditioning then Cooldown (MeCo) と呼ばれる新しい手法を提案する。 MeCoは、さまざまなモデルスケール(600Mから8Bパラメータ)とトレーニングソース(C4、RefinedWeb、DCLM)の事前トレーニングを著しく加速する MeCoは驚くほどシンプルで、計算オーバーヘッドを追加せず、より有能でステアブルな言語モデルを生成するという約束を示す。
  論文  参考訳（メタデータ） (2025-01-03T18:59:23Z)
• Contrasting local and global modeling with machine learning and satellite data: A case study estimating tree canopy height in African savannas [23.868986217962373]
  ローカルに収集したデータだけで訓練された小さなモデルは、グローバルTCHマップよりも優れています。 局所モデリングパラダイムとグローバルモデリングパラダイムの対立点と相乗効果の特定を行う。
  論文  参考訳（メタデータ） (2024-11-21T17:53:27Z)
• Recognize Any Regions [55.76437190434433]
  RegionSpotは、ローカライゼーション基盤モデルから位置認識ローカライゼーション知識と、ViLモデルからのセマンティック情報を統合する。 オープンワールドオブジェクト認識の実験では、私たちのRereaSpotは、以前の代替よりも大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-11-02T16:31:49Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。