Sinatra s-a casatorit in 1939 cu Nancy Barbato., dar permanentele turnee cu posibilitatile de a fi infidel au facut ca de Sfantul Valentin in 1950 , Nancy sa anunte decizia sa de a se despati de cantaret , deoarece relatia pe care Sinatra o avea cu Ava Gardner nu mai putea fi ascunsa sau dezmintita Casatoria sa cu Ava Gardner, a fost destul de problematica . Sinatra suferind el insusi ceea ce a suferit sotia sa Nancy pentru infidelitatile sale : Ava Gardner nu numai ca era o actrita foarte populara , dar avea o frumusete ce trezea cele mai aprinse dorinte barbatilor .asa ca a dus la certuri violente intre cei doi , betii a unuia sau a celuilalt ,inclusiv doua tentative de sinucidere din partea lui Sinatra . Relatia a avut si incarcatura a doua avorturi , iar in 27 octombrie 1953 au hotarat sa se desparta , ceea ce a dus la cel de-al treilea intent de suicid al cantaretului .In despartirea de Ava a gasit consolare in Marilyn Monroe, care , si ea , se desspartise de Joe DiMaggio . Magnetismul lui Sinatra s-a materializat public in formarea aproape spontan a unui grup de prieteni pe care Lauren Bacall, l-a numit “Rat Pack” sau “Clan Sinatra”. Acest grup era format din mai multi actori si actrite ca : Jerry Lewis, Dean Martin, Sammy Davis Jr., Peter Lawford, Joey Bishop, Shirley MacLaine, David Niven, Humphrey Bogart, care spunea :“ Ne admiram sin u mai avem nevoie de nimic altceva ”. Au fost faimoase petrecerile si orgiile grupului , mereu acompaniate de mult alcool , droguri si prostitutie . Frank era “Pack master”, pentru ca era admirat si respectat de ceilalti “Packers”. S-a casatorit pentru a treia oara cu actrita Mia Farrow in 1966, dar aceasta legatura a durat doar 2 ani , asa ca s-a casatorit a patra si ultima data cu Barbara Marx (ex-nevasta lui Zeppo Marx) in 1976. <br /><br /><br />Unul din cele mai discutate aspecte ale vietii lui Sinatra a fost relatia sa cu mafia, ajungand pana acolo ca a fost nevoit sa apara in fata unei comisii a Camerei Reprezentantilor pe 18 iulie 1972. si chiar daca aceste legaturi au fost certe (a fost prieten , de exemplu , al mafiotului , Sam Giancana) nunca se pudo presentar niciodata nu s-a putut prezenta nici o proba care sa arate participarea sa in cativitati ilegale , ci mai degaba a fost consecinta faptului ca fiind cantaret , a avut legaturi cu cei ce detineau cele mai mari Sali de concert din SUA si a trebuit sa –si atraga ajutorul acestor magnati .De exemplu a fost nevoit sa “lucreze “ pentru Giancana in numeroasele sale cluburi de noapte .<br /><br /> <br />Fara indoiala relatia sa cu Cosa Nostra a fost foarte apropiata inca de la inceput . Unul din unchii sai , Babe Gavarante, facea parte dintr-o banda care avea campul de aqctiune in nordul New Jersey, si al carei cap era Guarino "Willie" Moretti. De asemeni prima nevasta a lui Sinatra, Nancy Barbato, era verisoara unuia din “locotenentii “ lui Moretti , iar Sinatra a fost invitat sa cante la nunta ficei acestuia . Aceasta nunta a fost cea care i-a inspirat pe Mario Puzo si pe Francis Ford Coppola , in descrierea in carte si in filmul Nasul , a nuntii in care cantaretul "Johnny Fontane" este contractat sac ante la nunta lui Connie Corleone, fica lui Vito Corleone, .<br /><br /> <br />Eate adevarat si faptul ca Sinatra a avut o relatie de prietenie stransa cu Lucky Luciano, , considerat “nasul “ crimei organizate , pe care l-a vizitata la Havana cu diverse ocazii si apoi in Sicilia , De asemeni exista dovezi ca Sinatra a cantat la petrecerea de Craciun organizata in 1946 de Luciano in Napoli ..<br /><br /> <br />In arhivele FBI se pastreaza o arhiva a activitatii lui Sinatra de 2403 de pagini . <br /><br /> <br />Un alt admirator al grupului Rat Pack si a lui Sinatra in special era si , pe atunci , senatorul John F. Kennedy, candidat la presedentia Statelor Unite . Sinatra s-a amestecat in prima campanie electorala a lui John F. Kennedy din 1959 , din respect pentru politica dusa de Joseph P. Kennedy, tatal candidatului . Sinatra a fost rugat sa tina niste concerte in scopul adunarii de fonduri pentru campania electorala.