Вариантов много. Например, так:
$res = mysql_query("SELECT COUNT(*) FROM `items`");
$row = mysql_fetch_row($res);
$total = $row[0]; // всего записей
$allpages = ceil($total / $kol); // всего страниц
for ($i = 1; $i <= $allpages; $i++)
{
print "<a href=items.php?page=".$i."></a>";
}