犯人手机归还家属的时间需根据手机是否涉及案件分情况讨论，具体如下：

与案件无关的手机

- 若手机经查证与案件无关，公安机关或司法机关应在 3日内解除查封、扣押并退还，家属需等待办案机关通知。

涉及案件的手机

- 若手机包含证据（如聊天记录、照片等），则需由监狱代为保管，直至案件审结且确定无需作为证据时，方可归还。

- 罪犯同意交出手机的情况下，家属可要求领取，但需通过监狱流程办理。

特殊情形

- 刑事拘留期间，若手机属于非生活必需品且与案件无关，公安机关应在 24小时内通知家属，但未明确具体领取时间。

法律依据：

《中华人民共和国监狱法》第十八条：非生活必需品由监狱保管或征得罪犯同意后退还。- 《公安机关办理刑事案件程序规定》：与案件无关的财物应在3日内退还。