너무 작은 기업은 나중에 이직할때 힘들까요?

일반 사무직으로 아는 분 추천이 들어온 기업이 있는데
연봉은 2200정도고, 사원 20명 정도 입니다.
업무는 과장, 대리, 사원(제가 입사하면)으로 일하게 될거라고 하는데
회사가 규모는 작지만 사업이 어렵진 않아보입니다.
근데 친구가 너무 작은 회사에서 시작하면 나중에 이직하기가 너무 어렵다고 하던데
정말 그런가요?
대기업은 아니더라도 각 분야에서이름은 들어봤을만한 기업에 가는 것이 중요한가요?