سال 1329 در تهران به دنیا آمد. پس از گذراندن تحصیلات مقدماتی و دریافت مدرک دیپلمش، فعالیت سینمایی خود را با فیلم “هنگامه” (به کارگردانی ساموئل خاچیکیان) در سال 1347 آغاز کرد. سپس فعالیت خود را در بخش های تهیه و تولید، طراحی صحنه و لباس،عکاسی و فیلمبرداری ادامه داد.
او پیش از انقلاب در بسیاری از فیلم ها به عنوان دستیار کارگردان فعالیت داشته است. از فیلم هایی که اصغر رفیعی جم مدیر فیلمبرداری آن ها بوده است می توان به فیلم های هجرت (ربیع الله حسین زاده) ، هشت پا ( علیرضا داودنژاد ) ، برگ برنده ( سیروس الوند ) ، تب ( رضا کریمی ) ، نگین ( اصغر هاشمی ) ، رخساره ( امیر قویدل ) ،سگ کشی ( بهرام بیضایی ) ، اعتراض ( مسعود کیمیایی ) ، طوطیا ( ایرج قادری ) ، مرسدس ( مسعود کیمیایی ) ،سلطان ( مسعود کیمیایی ) ، زمین آسمانی ( محمدعلی نجفی ) ، سربلند ( فتحعلی اویسی ) ، روز واقعه ( شهرام اسدی ) ،شکوه بازگشت ( سیروس مقدم ) ، راز چشمه سرخ ( علی سجادی حسینی ) ، مریم و میتیل ( فتحعلی اویسی ) ، پرده آخر ( واروژ کریممسیحی ) ، زیر بام های شهر ( اصغر هاشمی ) ، آخرین پرواز ( احمدرضا درویش ) ، برهوت ( محمد علی طالبی ) ، شاید وقتی دیگر … ( بهرام بیضایی ) ، مصائب شیرین ( علیرضا داودنژاد ) [مدیر فیلمبرداری-عکاس] ، جدال ( محمدعلی سجادی ) ، دزد و نویسنده ( کاظم معصومی ) ، وقتی همه خوابیم(بهرام بیضایی) ، یتیم خانه ایران(ابوالقاسم طالبی) ، گذر موقت( افشین هاشمی) ، آن جا همان ساعت (سیروس الوند) و…اشاره کرد. توطئه خانوادگی آخرین کاری بوده که او به عنوان مدیر فیلمبرداری در آن حضور داشته و اکنون مدیر فیلمبرداری فیلم سیصد دقیقه به کار گردانی حمید همتی است.
هم چنین دیگر آثاری که در آن ها در بخش های دیگر فعالیت داشته عبارتند از: ، برخورد ( سیروس الوند ) [مدیر فیلمبرداری-تهیه کننده-طراح صحنه و لباس] ، خانه عنکبوت ( علیرضا داودنژاد ) [مدیر فیلمبرداری-تهیه کننده] ، جنگ اطهر ( محمدعلی نجفی ) [تدوینگر-مدیر فیلمبرداری] ، بیقرار ( ایرج قادری ) [دستیار فیلمبردار] و…
او جوایز بسیاری چون لوح زرین بهترین فیلمبرداری برای فیلم شاید وقتی دیگر، سیمرغ بلورین بهترین فیلمبرداری برای فیلم پرده آخر، سیمرغ بلورین بهترین فیلمبرداری برای فیلم سگ کشی و… را دریافت کرده است.هم چنین برای بسیاری از فیلم هایش کاندید دریافت جایزه و سیمرغ بلورین شده است. او برای فیلم خانه عنکبوت کاندید دریافت لوح زرین شد و تقدیرنامه دریافت کرد.
اصغر رفیعی جم مدرک درجه یک هنری دارد و از ابتدای فعالیت موسسه هنرمندان پیشکسوت به عضویت آن درآمده است.