Hola Pedro, para la conversión usando Whisper sigue los pasos de esta notebook: Whisper to Youtube.
Me gustaría hacer un artículo sobre Whisper en el futuro.
Saludos!

Una duda, al entrenar, aparece que el attention mask no se configuraron. Sin embargo, veo que en la clase de entrada se establece:

self.attn_masks.append(torch.tensor(encodings_dict[‘attention_mask’]))

Cómo solventar el warning?

Gracias!!

======== Epoch 1 / 1 ========
Training…
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input’s attention_mask to obtain reliable results.
Setting pad_token_id to eos_token_id:50256 for open-end generation.
Batch 500 of 3,397. Loss: 0.18576528131961823. Elapsed: 0:06:19.
0: ladrones, aunque en este caso es que ha puesto, aunque no pueda, su vida patas arribas con que no es de su cuerda.
En fin, que me gustaría que fuese. a b. que son los de la de si si si. a mí que lo voy a decir.
– a mí que me encanta ser el mejor, y que le ponga un freno a su carrera, a la mía que, sin él, no quiero ser el mejor.
– ¡qué va! si a que soy el mejor y a lo que voy a decir, a ser el mejor. o sea, no sé qué pensar en mi casa, yo