Spezzare una stringa in token

Data una stringa, spezzarla in token (o tokenizzarla) vuol dire trasformarla in una lista di stringhe ottenute spezzando la stringa di partenza sul carattere di spazio.

Ad esempio se prendiamo la stringa "uno due tre" la tokenizzazione ci porta ad avere la stringa ["uno","due","tre"].

Per effettuare questa operazione possiamo utilizzare il metodo split() della classe str, nel modo seguente:

>>> '1,2,,3,'.split(',')
['1', '2', '', '3', '']
>>> '   1   2   3   '.split()
['1', '2', '3']
Previous