Skor BLEU ialah metrik yang digunakan secara meluas untuk menilai prestasi model terjemahan mesin. Ia mengukur persamaan antara terjemahan yang dihasilkan mesin dan satu atau lebih terjemahan rujukan. Dalam konteks model terjemahan tersuai yang dilatih dengan Terjemahan AutoML, skor BLEU boleh memberikan cerapan berharga tentang kualiti dan keberkesanan output model.
Untuk memahami cara skor BLEU digunakan, adalah penting untuk memahami konsep asas terlebih dahulu. BLEU adalah singkatan kepada Bilingual Evaluation Understudy, dan ia dibangunkan sebagai satu cara untuk menilai secara automatik kualiti terjemahan mesin dengan membandingkannya dengan terjemahan rujukan yang dijana oleh manusia. Markah berjulat dari 0 hingga 1, dengan skor yang lebih tinggi menunjukkan terjemahan yang lebih baik.
Terjemahan AutoML ialah alat berkuasa yang ditawarkan oleh Google Cloud AI Platform yang membolehkan pengguna melatih model terjemahan tersuai menggunakan data mereka sendiri. Setelah model dilatih, ia boleh digunakan untuk menjana terjemahan untuk teks input baharu. Skor BLEU kemudiannya boleh digunakan untuk menilai kualiti terjemahan ini.
Untuk mengira skor BLEU, terjemahan yang dijana model dibandingkan dengan satu atau lebih terjemahan rujukan. Perbandingan adalah berdasarkan n-gram, yang merupakan urutan bersambung bagi n perkataan. Skor BLEU mengambil kira bukan sahaja ketepatan n-gram dalam terjemahan yang dijana model tetapi juga kehadirannya dalam terjemahan rujukan. Ini membantu menangkap kedua-dua kecukupan dan kelancaran terjemahan.
Mari kita gambarkan ini dengan contoh. Katakan kita mempunyai terjemahan rujukan: "Kucing itu duduk di atas tikar." Dan model itu menghasilkan terjemahan berikut: "Kucing itu duduk di atas tikar." Kita boleh memecahkan ayat ini kepada n-gram:
Rujukan: ["The", "cat", "is", "sitting", "on", "the", "mat"] Model: ["The", "cat", "sits", "on", "the", "mat"]
Dalam kes ini, model menterjemah majoriti n-gram dengan betul, tetapi ia terlepas kata kerja kala ("adalah" vs. "duduk"). Skor BLEU akan mencerminkan ini dengan memberikan skor yang lebih rendah kepada terjemahan.
Skor BLEU boleh dikira menggunakan pelbagai kaedah, seperti ketepatan yang diubah suai dan penalti keringkasan. Ketepatan yang diubah suai mengambil kira fakta bahawa terjemahan boleh mengandungi berbilang kejadian bagi n-gram, manakala penalti singkatnya menghukum terjemahan yang jauh lebih pendek daripada terjemahan rujukan.
Dengan menilai skor BLEU bagi model terjemahan tersuai yang dilatih dengan Terjemahan AutoML, pengguna boleh mendapatkan cerapan tentang prestasi model dan mengenal pasti bidang untuk penambahbaikan. Mereka boleh membandingkan skor BLEU bagi model atau lelaran yang berbeza untuk menjejak kemajuan dan membuat keputusan termaklum tentang pemilihan model atau penalaan halus.
Skor BLEU ialah metrik yang berharga untuk menilai prestasi model terjemahan tersuai yang dilatih dengan Terjemahan AutoML. Ia menyediakan ukuran kuantitatif kualiti terjemahan yang dihasilkan oleh mesin dengan membandingkannya dengan terjemahan rujukan. Dengan menganalisis skor BLEU, pengguna boleh menilai keberkesanan model mereka dan membuat keputusan berdasarkan data untuk meningkatkan kualiti terjemahan.
Soalan dan jawapan terbaru lain mengenai Terjemahan AutoML:
- Apakah langkah yang terlibat dalam mencipta model terjemahan tersuai dengan Terjemahan AutoML?
- Bagaimanakah Terjemahan AutoML merapatkan jurang antara tugas terjemahan generik dan perbendaharaan kata khusus?
- Apakah peranan Terjemahan AutoML dalam mencipta model terjemahan tersuai untuk domain tertentu?
- Bagaimanakah model terjemahan tersuai boleh memberi manfaat untuk istilah dan konsep khusus dalam pembelajaran mesin dan AI?