Pada awalnya, pempek dibuat dari ikan belida, sejenis ikan langka yang mendiami Sungai Musi. Namun, karena keberadaannya yang saat ini semakin langka, pempek kini dibuat menggunakan ikan sungai lainnya seperti ikan sepat siam, ikan putak dan ikan gabus. Selain itu, ikan tenggiri dan ikan kakap merah juga sering digunakan sebagai bahan baku pempek. Akan tetapi, ikan laut ini memiliki aroma yang lebih amis dibandingkan ikan dari sungai. Dari berbagai jenis ikan sungai dan ikan laut, ikan tenggiri, gabus, dan belida merupakan jenis-jenis ikan yang paling direkomendasikan untuk mendapatkan cita rasa pempek yang lezat.
Di balik kelezatannya, kuliner asal Palembang ini memiliki sejarah yang panjang. Dilansir dari berbagai sumber, pembuatan pempek diperkirakan sudah dimulai pada 684 Masehi pada masa Kedatuan Sriwijaya.