Mario Caroli ha intrapreso lo studio del flauto a 14 anni e si è diplomato some solista a 19 anni.
All'età di 22 anni ha vinto lo storico Premio internazionale "Kranichstein" a Darmstadt, e ha intrapreso così un'importante carriera che lo ha rivelato come uno dei principali solisti della sua generazione.
Mario Caroli si esibisce regolarmente nelle più grandi sale da concerto del mondo, comprese la Philharmonie di Berlino e di Colonia, il Concertgebouw di Amsterdam (dove il suo concerto di debutto fu accolto da una standing ovation), la Herkulessal di Monaco, la Konzerthaus di Vienna, la Royal Festival Hall di Londra, il Théâtre du Châtelet e l'Opéra Garnier a Parigi, il Lincoln Center di New York (nel ciclo dei "Grandi Interpreti"), Suntory Hall, Oji Hall e Opera City House di Tokyo e anche il Palais des Beaux Arts di Bruxelles.
Ha suonato concerti per flauto e orchestra (da Vivaldi a Sciarrino, passando per Mercadante, Ibert o Jolivet) con l'Orchestra Sinfonica Nazionale della RAI, la Philharmonia Orchestra di Londra, l'Orchestra Nazionale del Belgio, l'Orchestra della WDR, quella della SWR, i Bayerische Rundfunk, l'Orchestra Nazionale d'Islanda, la Tokyo Philharmonic, Tokyo Sinfonietta, le Orchestre dei Teatri d'Opera di Stoccarda, Rouen e Cagliari.
Mario Caroli è stato inoltre solista con Les Percussions de Strasbourg, l'Ensemble Contrechamps di Ginevra e l'Ensemble Algoritmo di Roma, i Neue Vocalsolisten e la Schola Heidelberg, sotto la direzione di Pierre Boulez, Peter Eötvös, Heinz Holliger, Lothat Koenigs, Christian Mandeal, Kazushi Ono, Pascal Rophé, Oswald Sallaberger.
Appassionato cultore di filosofia (laurea, summa cum laude, con una tesi su "L'Anticristo" di Nietzsche), poesia, cinema e psicologia, premio per la cultura "Attis d'Oro" del Comune di Fasano, i suoi orizzonti culturali supportano lo sforzo costante di vivificare le prospettive sul suo strumento. Spingendo i suoi interessi oltre i canoni del repertorio standardizzato, Mario Caroli è diventato il solista preferito dei più grandi compositori di oggi. Attualmente, egli è l'unico flautista ad eseguire in concerti monografici le integrali flautistiche di compositori come Sciarrino, Ferneyhough e Jolivet.
Il suo impegno di musicista di traduce anche in trascrizioni e adattamenti per flauto di musiche antiche, classiche e romantiche, così come nell'assumere l'interpretazione di pagine rare e monumentali: solista di Cantare con silenzio di Sciarrino, del Concerto per flauto di Feldman, del Prometeo di Nono, nel ciclo completo dei Carceri d'invenzione di Ferneyhough e in ...Explosante-fixe... di Boulez; protagonista in scena di Hyperion di Maderna o camerista nel trio (lungo cinque ore) For Philip Guston di Feldman, in El Cimarron di Henze o ancora in innumerevoli esecuzioni del Marteau sans maître di Boulez.
La sua discografia conta oggi una ventina di titoli. Le sue recenti incisioni di opere flautistiche di Jolivet ("una delle migliori performance ascoltate negli ultimi mesi – forse addirittura negli ultimi anni" American Record Guide) e di Sciarrino hanno ricevuto i più alti riconoscimenti da parte della critica internazionale: "Recommandé" (Répertoire), "Coup de Coeur de l'Académie Charles Cros", "A!" (Anaclase), "Eccezionale!" (Musica), "Best recording of the year" (Musicweb international), "Best CD of the month" (Amadeus and CD Classics). Sue registrazioni, interviste e concerti sono regolarmente diffusi dalle principali stazioni Radio e TV attraverso il mondo.
Riguardo all'attività didattica, Mario Caroli è invitato per masterclass e come artista in residenza presso prestigiose istituzioni, come l'Università di Harvard (invitato ad animare la celebre FROMM-residency tra il 2007 e il 2008), il Toho College (Tokyo), la Sibelius Academy (Helsinki), il Centre Acanthes (Paris) o il Conservatori Superiori di Parigi, Ginevra, Karlsruhe, Lugano e Lipsia. Invitato ad insegnare come professeur de distinction dal Conservatorio di Strasburgo, Mario Caroli anima dal 2002 la classe internazionale del ciclo superiore di flauto.
Oltre alla sua attività di solista, Mario ha lavorato a più riprese, come interprete in scena, con la compagnia di danza di Trisha Brown. Inoltre, si è recato con il suo flauto anche nelle scuole, nelle fabbriche, negli ospedali, nelle case di riposo, persino nelle prigioni, allo scopo di portare sollievo a gente in difficoltà per il tramite della gioia della musica.