Menandakan lirik dalam proses latihan melatih model AI untuk mencipta puisi menggunakan teknik TensorFlow dan NLP mempunyai beberapa tujuan penting. Tokenisasi ialah langkah asas dalam pemprosesan bahasa semula jadi (NLP) yang melibatkan pemecahan teks kepada unit yang lebih kecil yang dipanggil token. Dalam konteks lirik, tokenisasi melibatkan pembahagian lirik