下記記事にもあるようにUE5.0.3でもMP4が再生されない問題が続いているみたいです
私も下記記事の対応を行うことで解消しました
https://note.com/satoshitani/n/nd617e838123b
ただ、上記とは別にメディアプレイヤーのエディタ上でMP4を再生する場合も
エンコード設定変更が必要で変更方法がわからなかったので備忘録として残します。
変更方法
・再生オプションからエンコードを「Electra プレイヤー」変更(添付画像を参照)
ファイルメディアソースをダブルクリックしなければいけないのはなぜなんだろうか?)

最後に、UE5になってからメディアプレイヤーのエディタ上でMP4再生するのに
ファイルメディアソースをダブルクリックしなければ再生できなくなりました。
これは私の環境だけでしょうか?(UE4だとプレイだけで再生できていたような・・・