In un altro articolo è stata implementata la funzione scan() che accetta una linea di input dal programma principale e gestisce un singolo simbolo di input per ogni chiamata.
Se vogliamo introdurre keywords, costanti e così via dobbiamo estendere la funzione scan(). Proprio come i numeri in virgola mobile (floating point), si estraggono stringhe alfanumeriche per la successiva analisi:
Quando si ottiene un identificatore si farà in modo che la nuova funzione screen() decida che cosa il token rappresenti. Se necessario, screen() depositerà una descrizione del simbolo in una variabile globale chiamata symbol che il parser può ispezionare.
