泰山郡奉高博嬴南武城梁父山茌新泰南武阳莱芜牟巨平惠帝之末，兖州阖境沦没石勒，后石季龙改陈留郡为建昌郡，属洛州。是时遗黎南渡，元帝侨置兖州，寄居京口。明帝以郄鉴为刺史，寄居广陵，置濮阳、济阴、高平、太山等郡。后改为南兖州，或还江南，或居盱眙，或居山阳。后始割地为境，常居广陵，南与京口对岸。咸康四年，于北谯界立陈留郡。安帝分广陵郡之建陵、临江、如皋、宁海、蒲涛五县置山阳郡，属南兖州。