Sözcüksel analiz

Bilgisayar biliminde sözcüksel çözümleme ya da jetonlaştırma bir bilgisayar programındaki ifadelerin anlamlı dizelere dönüştürülmesine verilen addır.

Jeton

Jeton, bir programın derleyici için anlamlı en küçük parçasıdır. Programın jetonlara ayrılması, derleyicinin programı kendi diline çevirebilmesi açısından önemlidir. Jetonlar birbirlerinden genellikle boşluk karakteri ile ayrılırlar. Boş satır, yeni satır ya da açıklama gibi öğeler de jetonları birbirinden ayırmaya yarar. a = i + j örneğinde jetonlar "a", "=", "i", "+" ve "j" karakterleridir.