Ist deine Seite in Besuchertauschsystemen, Surfbars, Traffic etc drin? Dann kann es schon zu einigen Sessions kommen, wobei 100k natürlich schon bissl viel ist.
Schau auch mal den Wert von:
php#ini.session.cache-expire
nach.
Siehst du das letzte Änderungs- und/oder Zugriffsdatum auf die Session Dateien?