Figlio di braccianti agricoli che lavoravano la terra dei marchesi Rubino-Rossi di Cerignola. Costretto a fare il bracciante, a causa della morte del padre per un incidente sul lavoro nel 1902, dopo avere appena imparato a leggere e scrivere sommariamente, teneva un quaderno in cui annotava termini ignoti che udiva, mettendo da parte faticosamente i soldi per acquistare un vocabolario. Già negli anni dell'adolescenza, a 12 anni circa, aveva iniziato un'intensa attività politica e sindacale con Aurora Tasciotti; inizialmente di idee anarchiche, passò poi al socialismo, e a 15 anni fu tra i promotori del Circolo giovanile socialista della città, mentre nel 1911 passò a dirigere la Camera del Lavoro di Minervino Murge. Al centro dei problemi del lavoro c'era allora in Italia, come oggi, la questione meridionale. Membro della camera del lavoro di Cerignola, nel 1911 aderì al sindacalismo rivoluzionario e nel 1912 Di Vittorio, pur in carcere da alcuni mesi, fu eletto nel comitato centrale dell'Unione Sindacale Italiana nel corso del congresso fondativo di novembre.