Activez la médiathèque.
Cliquez du bouton droit dans le volet inférieur (celui qui affiche la liste des titres).
Dans le menu contextuel, choisissez la commande Supprimer > Supprimer les fichiers manquants de la liste.