نشأ بالعراق، وكان في الأصل من موالي المهدي العباسي، تتلمذ منذ حداثته على يدي الموسيقي المشرقي إسحاق الموصلي، صاحب المكانة المرموقة في بلاط بغداد. وقد ظهر نبوغ زرياب وشاع خبر مهارته؛ حتى خشيه أستاذه الموصلي وحمله على الهجرة، فقصد تلك الأرض النائية، أرض المغرب، وبعد إقامة يسيرة في بلاط أمير القيروان، دعاه الأمير الحكم الربضي إلى الأندلس، لما بلغه من مهارته الفائقة في فنه؛ ولعله أراد أن ينافس به في الأندلس، إسحاق الموصلي في المشرق.

أخذ زرياب طريقه إلى الأندلس، ونزل في ميناء الجزيرة الخضراء، ولكنه علم فيها بوفاة الأمير الحكم، الذي كان قد استدعاه إلى الأندلس، وقبل أن يتسرب اليأس إلى قلبه، جاءه رسول الأمير الجديد عبد الرحمن الأوسط، يخبره أن الأمير منفذ لوعد أبيه، طالب قدوم الموسيقي المشرقي العظيم، فواصل زرياب رحلته إلى قرطبة، واستقبله الأمير عبد الرحمن بالترحاب والإجلال، ومنحه إقطاعا ذا غلة وافرة، وقر به من نفسه وجعله من خاصته.

كان زرياب قد جاوز الثلاثين حين وصل إلى الأندلس سنة 822م، وبقي فيها حتى مات سنة 857م. وقد فرض نفسه على المجتمع الأندلسي؛ وذلك بفضل فنه وذكائه وجميل عاداته، وتشيع الأمير ورجال الدولة له، واستجاب أهل الأندلس لما كان يشيع فيهم من مستحدثات. فقد كان زرياب مثالا للأناقة، فصار قدوة في الزي. وكان مثالا في التجديد لطرق المعيشة فوجدت تجديداته رواجاً بين الأندلسيين، وهو الذي علمهم كيف يفرقون شعورهم في وسط الرأس ويعقصونها من الخلف، حتى يظهر العنف ويبدو الجبين بعد أن كانوا يرسلون الشعر فوق الجبهة والأصداغ، وهو الذي استن لهم لبس الثياب البيضاء والملونة الخفيفة في الصيف، والفراء والأردية الثقيلة في الشتاء، وهو الذي نقل إليهم كثيراً من طرق الطهي وتصفيف الموائد ومظاهر التحضر.

أما من ناحية الفن فقد أنشأ أول مدرسة لتعليم الموسيقى والغناء وكان من دعائم هذه المدرسة أبناء زرياب وبناته وجواريه، وكانوا جميعاً يحسنون الغناء ويجيدون الموسيقى، وقد خف إلى مدرسة زرياب كثير من الأندلسيين، فكان يأخذهم بمنهج دقيق في تعليم الموسيقى والغناء. واستطاع بسرعة أن يجعل للموسيقى الأندلسية طابعاً وشخصية وعشاقاً، وأن يخلصها من التقاليد المدنية التي دخلت إلى الأندلس مع المدنيات ومن جاء بعدهن من فناني المشرق قبل زرياب. ولا تزال الموسيقى تدين لزرياب، بالعود ذي الأوتار الخمسة الذي أحله محل العود ذي الأوتار الثلاثة، الذي كان معروفاً من قبل.

ولقد كان من نتائج وفود زرياب وانتشار مستحدثاته الاجتماعية والفنية أن شاع في المجتمع الأندلسي حب الترف والتأنق والأخذ بمتع الحياة، كما شاع كذلك الشغف بالموسيقى والتعلق بالغناء، والتورط أحياناً في اللهو والمجون. وقد ساعد على ذلك تحرر بعض الأمراء ممن حكموا في تلك الفترة، مثل عبد الرحمن الأوسط، كما ساعد كذلك تحسن الأحوال الاقتصادية في أغلب الأحيان، وانتشار الكروم، والترخص في عصر الأنبذة وشربها، ثم كثرة القيان من مشرقيات وإسبانيات.