Windows es muy desordenado al guardar archivos, los guarda como entren en el disco duro. Si por ejemplo, tienes dos archivos de 2Mb uno al lado del otro, y borras el primero, el espacio que ocupaba queda disponible.
Si después guardas un archivo mayor de 2Mb, windows ocupará esos 2Mb y como el archivo no entra en ese espacio lo cortará y guardará el resto en otro lugar (si hay muchos "huecos" de archivos en el disco duro, la fragmentación seguirá hasta que todo el archivo haya sido guardado).

Desfragmentar el disco junta todos los pedazos de los archivos en en uno solo, y también los huecos de espacio libre. Un disco con bajo índice de fragmentación realiza operaciones de lectura/escritura en menos tiempo (se "siente" más rápido cuando copias muchos archivos a la vez).

Para desfragmentarlo, puedes usar la utilidad de windows (clic derecho en la unidad >propiedades >herramientas >desfragmentar) o usar algún programa especializado (defraggler, por ejemplo).
En ambos casos, puedes obtener el índice de fragmentación analizando la unidad. La utilidad de windows te informa si es necesario o no desfragmentar (atendiendo a vete a saber qué criterio xD), mi recomendación:

• Si usas poco el disco (copias de seguridad, por ejemplo) espera hasta que el análisis te diga que es necesario desfragmentar, o hasta que el nivel de fragmentación alcance 30 o 40%.
• Si usas mucho el disco (trasferir muchos archivos de una pc a otra, por ejemplo) desfragmenta seguido, digamos una vez cada 2 o 3 semanas (dura mucho el proceso, pero vale la pena por lo que mencioné en el párrafo 2).