1963 - 1991: Langsamer Abstieg und Fahrstuhlmannschaft
Gleich im ersten Jahr in der neuen Bayernliga müssen die Fußballer den zweiten Abstieg in Folge hinnehmen. Zu groß ist die Zahl der abgewanderten Spieler, zu gering die finanziellen Möglichkeiten, die nach den Rückzug mehrerer großer Sponsoren herrschen. 1968 steigen die Fußballer auch aus der Landesliga ab und sind zum ersten Mal seit über zwei Jahrzehnten wieder auf Bezirksebene angekommen.
In den 70er Jahren blüht der Fußball beim ASV Cham wieder ein Stück weit auf. Zuerst wird das neue Stadion mit einem Freundschaftsspiel vor 3.500 Zuschauern gegen den SSV Jahn Regensburg eingeweiht, später gastieren der FC Bayern München (1973, mit Maier, Beckenbauer, Hoeneß oder Müller, die "Bayern" siegen 13:2) oder Eintracht Frankfurt im neuen Stadion an der Further Straße. 1974 steigen die Fußballer allerdings in die Niederrungen der A-Klasse (der heutigen Kreisliga) ab. Während die Senioren schwächeln, präsentieren sich die Junioren von der besten Seite. Im Endspiel um die Bayerische Meisterschaft verliert man gegen den Profinachwuchs des 1.FC Nürnberg nur knapp mit 1:3 und 2:2 und ließ damit zahlreiche namhafte Teams hinter sich. Lohn der Mühen waren nicht nur Spiele vor über 3000 Zuschauern wie im Jahr 1976 gegen den 1.FC Nürnberg, sondern auch die Berufung des ehemaligen Pösingers Wilhelm Reisinger in die Jugendnationalmannschaft. Später wechselte der Offensivspieler zum FC Bayern München und konnte eine beachtliche Profikarriere hinlegen.
In den 80er Jahren entwickelte sich der ASV Cham zu einer Fahrstuhlmannschaft zwischen der Bezirksliga und Landesliga und war für die eine Liga zu stark, die andere zu schwach. 1991 folgte der letzte Aufstieg für lange Zeit, als die Fußballer in die viertklassige Landesliga aufstiegen.
1973
Nach der Einweihung des neuen Stadions an der Further Straße im Jahr 1972 gastierte der FC Bayern München als amtierender Pokalsieger der Landesmeister (heute; Champions League) beim ASV Cham und siegte mit 13:2-Toren.