論文の概要: LoFTI: Localization and Factuality Transfer to Indian Locales

• arxiv url: http://arxiv.org/abs/2407.11833v1
• Date: Tue, 16 Jul 2024 15:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:13:22.153967
• Title: LoFTI: Localization and Factuality Transfer to Indian Locales
• Title（参考訳）: LoFTI:インド地方へのローカライゼーションとファクチュアリティの移転
• Authors: Sona Elza Simon, Soumen Kumar Mondal, Abhishek Singhania, Sayambhu Sen, Preethi Jyothi,
• Abstract要約: LLMのローカライゼーションと実際のテキスト転送機能を評価するために,LoFTIという新しいベンチマークを導入する。 LoFTIは、ソースおよびターゲットロケーションのエンティティに関する事実的なステートメントで構成されている。 我々は,LoFTIが高品質な評価ベンチマークであり,GPT-4を含む全てのモデルが,様々な局所性レベルで歪んだ結果を生成することを示した。
• 参考スコア（独自算出の注目度）: 19.765952205398012
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) encode vast amounts of world knowledge acquired via training on large web-scale datasets crawled from the internet. However, these datasets typically exhibit a geographical bias towards English-speaking Western countries. This results in LLMs producing biased or hallucinated responses to queries that require answers localized to other geographical regions. In this work, we introduce a new benchmark named LoFTI (Localization and Factuality Transfer to Indian Locales) that can be used to evaluate an LLM's localization and factual text transfer capabilities. LoFTI consists of factual statements about entities in source and target locations; the source locations are spread across the globe and the target locations are all within India with varying degrees of hyperlocality (country, states, cities). The entities span a wide variety of categories. We use LoFTI to evaluate Mixtral, GPT-4 and two other Mixtral-based approaches well-suited to the task of localized factual transfer. We demonstrate that LoFTI is a high-quality evaluation benchmark and all the models, including GPT-4, produce skewed results across varying levels of hyperlocality.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、インターネットからクロールされた大規模なWebスケールデータセットのトレーニングを通じて得られた膨大な世界の知識を符号化する。 しかし、これらのデータセットは通常、英語圏の西洋諸国に対する地理的偏見を示す。 この結果、LLMは、他の地理的領域に局在した回答を必要とするクエリに対するバイアスまたは幻覚応答を生成する。 本研究では,LLMのローカライゼーションと実際のテキスト転送機能を評価するために,LoFTI (Localization and Factuality Transfer to Indian Locales) という新しいベンチマークを導入する。 LoFTIは、ソースとターゲットの場所の実体に関する事実的な声明で構成されており、ソースの場所は世界中に広がり、ターゲットの場所はすべてインド内にあり、高度局所性(国、州、都市)は様々である。 エンティティはさまざまなカテゴリにまたがる。 我々はLoFTIを用いて、Mixtral、GPT-4および他の2つのMixtralベースのアプローチを、局所化事実伝達のタスクに適したものとして評価する。 我々は,LoFTIが高品質な評価ベンチマークであり,GPT-4を含む全てのモデルが,様々な局所性レベルで歪んだ結果を生成することを示した。

関連論文リスト

• What can LLM tell us about cities? [6.405546719612814]
  本研究では,世界規模で都市や地域に関する知識を提供する上で,大規模言語モデル(LLM)の能力について検討する。 実験の結果、LLMはグローバルな都市に広範に多様な知識を組み込んでおり、MLモデルはLLMに由来する特徴に基づいて一貫して訓練され、予測精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T09:07:56Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization [61.10806364001535]
  世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。 既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。 画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-09-27T20:54:56Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language Models [13.659853119356507]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクにおいて印象的な能力を示した。 彼らは幻覚を起こす傾向があり、モデルがその反応の中で誤った情報や誤った情報を公開する。 ユーザによるQ&Aデータセットに対するLLMの性能評価を可能にする新しい可視化手法として,LLMMapsを提案する。
  論文  参考訳（メタデータ） (2023-04-02T05:47:09Z)
• Geographic and Geopolitical Biases of Language Models [43.62238334380897]
  プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。 以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。 最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
  論文  参考訳（メタデータ） (2022-12-20T16:32:54Z)
• RING++: Roto-translation Invariant Gram for Global Localization on a Sparse Scan Map [20.276334172402763]
  本稿では、位置認識のためのロト変換不変表現と、回転と翻訳の両方のグローバル収束を持つRing++を提案する。 理論的保証により、RING++はスパーススキャン付き軽量マップを使用して、大きな視点差に対処することができる。 これはスパーススキャンマップにおけるグローバルローカライゼーションのすべてのサブタスクに対処する初めての学習不要フレームワークである。
  論文  参考訳（メタデータ） (2022-10-12T07:49:24Z)
• FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
  本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。 このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
  論文  参考訳（メタデータ） (2022-10-01T05:02:04Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• Global Knowledge Distillation in Federated Learning [3.7311680121118345]
  本稿では,従来のグローバルモデルから知識を学習し,局所バイアス学習問題に対処する,新たなグローバル知識蒸留法であるFedGKDを提案する。 提案手法の有効性を示すため,各種CVデータセット(CIFAR-10/100)と設定(非i.dデータ)について広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-30T18:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。