論文の概要: IndoPref: A Multi-Domain Pairwise Preference Dataset for Indonesian
- arxiv url: http://arxiv.org/abs/2507.22159v1
- Date: Tue, 29 Jul 2025 18:46:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:17.813375
- Title: IndoPref: A Multi-Domain Pairwise Preference Dataset for Indonesian
- Title（参考訳）: IndoPref: インドネシアの多ドメインペアワイズな推奨データセット
- Authors: Vanessa Rebecca Wiyono, David Anugraha, Ayu Purwarianti, Genta Indra Winata,
- Abstract要約: IndoPrefは、最初の完全な人間によるマルチドメインインドネシアの嗜好データセットである。
すべてのアノテーションはインドネシア語で書かれており、クリッペンドルフのαを用いて評価されており、強い注釈間の合意を示している。
- 参考スコア（独自算出の注目度）: 11.564887118533766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over 200 million people speak Indonesian, yet the language remains significantly underrepresented in preference-based research for large language models (LLMs). Most existing multilingual datasets are derived from English translations, often resulting in content that lacks cultural and linguistic authenticity. To address this gap, we introduce IndoPref, the first fully human-authored and multi-domain Indonesian preference dataset specifically designed to evaluate the naturalness and quality of LLM-generated text. All annotations are natively written in Indonesian and evaluated using Krippendorff's alpha, demonstrating strong inter-annotator agreement. Additionally, we benchmark the dataset across multiple LLMs and assess the output quality of each model.
- Abstract（参考訳）: 2億人以上の人々がインドネシア語を話すが、大きな言語モデル(LLM)の嗜好に基づく研究において、この言語は依然として著しく過小評価されている。
既存の多言語データセットの多くは英語の翻訳から派生したもので、しばしば文化や言語的な正確性に欠ける内容をもたらす。
このギャップに対処するために、私たちは、LLM生成テキストの自然性と品質を評価するために特別に設計された、最初の完全な人間によるマルチドメインインドネシアの嗜好データセットであるIndoPrefを紹介します。
すべてのアノテーションはインドネシア語でネイティブに書かれており、クリッペンドルフのαを用いて評価されており、強い注釈間の合意を示している。
さらに、複数のLCMにまたがってデータセットをベンチマークし、各モデルの出力品質を評価する。
関連論文リスト
- COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing [1.3062731746155414]
COMI-lingUAは、ヒンディー語と英語のコード混成データセットとしては最大である。
5つのコアNLPタスクにわたる125K以上の高品質なインスタンスで構成されている。
各インスタンスには3つのバイリンガルアノテーションがアノテートされ、376K以上の専門家アノテーションが生成される。
論文 参考訳（メタデータ） (2025-03-27T16:36:39Z) - BRIGHTER: BRIdging the Gap in Human-Annotated Textual Emotion Recognition Datasets for 28 Languages [93.92804151830744]
BRIGHTERは、28の言語で複数ラベル付き、感情アノテートされたデータセットの集合である。
データ収集とアノテーションプロセスに関する課題を強調します。
BRIGHTERデータセットは、テキストベースの感情認識のギャップに対処するための重要なステップであることを示す。
論文 参考訳（メタデータ） (2025-02-17T15:39:50Z) - SemRel2024: A Collection of Semantic Textual Relatedness Datasets for 13 Languages [44.017657230247934]
textitSemRelは13言語にまたがるネイティブスピーカーによって注釈付けされた新しいセマンティック関連データセットである。
これらの言語は5つの異なる言語族の出身であり、主にアフリカとアジアで話されている。
SemRelデータセットの各インスタンスは、2つの文間の意味的テキスト関連性の度合いを表すスコアに関連付けられた文対である。
論文 参考訳（メタデータ） (2024-02-13T18:04:53Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。
コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。
この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-06T12:40:58Z) - NusaCrowd: Open Source Initiative for Indonesian NLP Resources [104.5381571820792]
NusaCrowdは、インドネシア語の既存のリソースを収集し、統一する共同イニシアチブである。
我々の研究は、広く話されているにもかかわらず表現されていない言語に対する自然言語処理(NLP)の研究を進めようとしている。
論文 参考訳（メタデータ） (2022-12-19T17:28:22Z) - OCNLI: Original Chinese Natural Language Inference [21.540733910984006]
我々は,中国における最初の大規模NLIデータセット(56,000の注釈付き文対からなる)であるOriginal Chinese Natural Language Inference dataset(OCNLI)を提示する。
NLIを他の言語に拡張しようとする最近の試みとは異なり、私たちのデータセットは自動翻訳や非専門家アノテーションに依存していません。
我々は、中国語の最先端の事前訓練モデルを用いて、データセット上でいくつかのベースライン結果を確立し、人間のパフォーマンスよりもはるかに優れたパフォーマンスモデルを見つける。
論文 参考訳（メタデータ） (2020-10-12T04:25:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。