Ella Baker sinh ngày 13/12/1903 tại Norfolk, Virginia, Hoa Kỳ. Bà lớn lên ở vùng nông thôn Bắc Carolina cùng với người bà của mình là một cựu nô lệ. Từ khi còn bé, bà đã kể cho Baker nghe nhiều câu chuyện về cuộc đời mình, cả việc bà bị đánh đập, ngược đãi khi còn trong tay ông chủ.
Là một người thông minh, sáng dạ, Baker học tại đại học Shaw ở Raleigh, Bắc Carolina. Bà là thủ khoa và được đọc diễn văn tại lễ tốt nghiệp năm 1927. Sau khi hoàn thành bằng cử nhân, Baker chuyển đến New York sinh sống. Ở đó, bà đã trải qua nhiều công việc, cố gắng kiếm đủ tiền chi trả cho cuộc sống. Baker là một trong những thành viên ban đầu thành lập Liên đoàn Hợp tác những người trẻ tuổi ở thành phố New York, nơi hỗ trợ các thành viên của mình tập trung vốn để có được những hợp đồng tốt hơn về hàng hoá và dịch vụ.
Khoảng năm 1940, Baker trở thành thư ký của Hiệp hội Quốc gia vì sự tiến bộ của Người da màu (NAACP). Bà đã đi khắp nơi, gây quỹ và tuyển dụng thành viên cho tổ chức. Năm 1946, Baker trở thành giám đốc chi nhánh của NAACP. Vài năm sau đó, do bận chăm sóc cho cháu gái của mình, bà đã xin từ chức ở NAACP bởi công việc này đã lấy đi của bà khá nhiều thời gian. Ở New York, Baker tiếp tục làm việc cho một số tổ chức địa phương. Bà cũng tham gia hỗ trợ cho các chương trình của NAACP ở New York.
Bà đã dành cả cuộc đời mình để tham gia nhiều hoạt động đấu tranh cho sự bình đẳng và công bằng xã hội.Năm 1957, Baker gia nhập Hội đồng lãnh đạo cơ đốc miền nam (SCLC) với tư cách là giám đốc điều hành theo yêu cầu của tiến sĩ Martin Luther King Jr. Tổ chức này là một nhóm quyền dân sự được tạo ra bởi các bộ trưởng người Mỹ gốc Phi và các nhà lãnh đạo cộng đồng. Trong thời gian làm việc ở SCLC, Baker đã tổ chức sự kiện dẫn tới việc thành lập Ủy ban điều phối bất bạo động của sinh viên (SNCC) vào năm 1960 và được đề nghị trở thành người cố vấn cho tổ chức này.
Sau khi rời SCLC vào năm 1960, Baker vẫn hoạt động trong SNCC nhiều năm sau đó. Bà đã giúp thành lập Đảng Dân chủ Tự do Mississippi (MFDP) vào năm 1964 để thay thế cho Đảng Dân chủ của nhà nước vì có quan điểm phân biệt chủng tộc. Đảng này thậm chí đã cố gắng để đưa các đại biểu của họ thay thế cho các đại biểu của Mississippi tại Công ước về dân chủ quốc gia ở thành phố Atlantic, New Jersey cùng năm đó. Mặc dù không thành công trong nỗ lực này nhưng các hoạt động của MFDP đã mang lại nhiều sự chú ý cho mục tiêu của họ.
Cuộc đời đấu tranh không biết mệt mỏi của bà đã được dựng thành bộ phim tài liệu ra đời năm 1981.Baker tiếp tục đấu tranh vì sự bình đẳng và công bằng xã hội trong suốt quãng đời còn lại. Với nhiều năm kinh nghiệm trong vai trò người biểu tình và tổ chức những cuộc biểu tình, bà đã đưa ra lời khuyên, cố vấn cho nhiều tổ chức, bao gồm Ủy ban Điều phối Phụ nữ thế giới thứ ba và Ủy ban Đoàn kết Puerto Rico. Cuộc đời và thành tựu của Baker đã được ghi lại trong bộ phim tài liệu "Câu chuyện của Ella Baker" ra đời năm 1981. Baker qua đời vào ngày sinh nhật thứ 83 của bà, ngày 13/12 /1986 tại thành phố New York.