Te recomiendo usar el software de MotioninJoy que puedes descargar gratuitamente de su página web (te recomiendo la version 0.6.0005 ya que es la más estable. Recuerda escoger 32 o 64 bits dependiendo de tu sistema).

Una vez descargado e instalado, sigue las siguientes instrucciones:

1. Conecta mediante USB el mando de PS3
2. Abre el programa que se instaló, llamado DS3 Tool
3. En la parte que dice select one mode, escoje Create (a un lado de Custom).
4. Ahí decides las funciones que quieres que tengan los botones y palancas del mando.
5. Una vez elegidas las funciones, dale a Save y guardalo con el nombre que desees
6. Vuelve a Home (botón superior izquierdo).
7. Marca la opción de Custom en la parte de Select one mode y escoje el perfil que habías creado.
8. Haz click en el botón Enable y ya tienes tu mando de PS3 configurado y listo para usarse.

Saludos ;)