בתקופה הביזאנטית הייתה יבנה-ים (ביוונית: ימניטון לימן; בארמית: מחוזא ד'ימנין, שפירושם – נמל יבנה) אחת מערי הנמל החשובות שמדרום ליפו, ובראש ובראשונה שירתה את עיר האם שלה, יבנה. העיר הגיעה לשיא פריחתה במאות ה-ו' וה-ז', אז כללה רובעי מגורים, מבני ציבור שונים, מתקנים ומערות קבורה.
זמן קצר לאחר כיבוש הארץ על-ידי המוסלמים במאה ה-ז', החל השליט המוסלמי מעאוויה בתהליך של הפיכת ערי החוף לנקודות תצפית והתראה ולמצודות ימיות (ריבאטאת; יחיד: ריבאט). ריבאטאת אלה הוזכרו מאוחר יותר על-ידי ההיסטוריון המוסלמי אל-מקדסי (סוף המאה ה-י'), ובהן הוא כולל גם את יבנה-ים (ערבית: מאחוז יבנא, שפירושו, כבתקופה הביזאנטית – נמל יבנה). תהליך הקמת הריבאטאת לווה גם בעזיבתה של רוב האוכלוסייה הלא מוסלמית את הערים האלה.
מן החפירות שנערכו ביבנה-ים מטעם אוניברסיטת תל אביב, ומממצאים אקראיים שנתגלו באתר, עולה כי הישוב שינה את פניו ללא הכר במהלך הפיכתו מעיר נמל אזרחית בתקופה הביזאנטית למאחז צבאי (אולי עם התיישבות אזרחית מסוימת לצדו) בתקופה המוסלמית הקדומה. בחפירות נחשף מגדל רבוע שניצב כנראה בשערה המזרחי של המצודה המוסלמית הקדומה והוקף בחפיר. בבנייתו של המגדל נעשה שימוש משני בעמוד שיש שנלקח ככל הנראה מאחת הכנסיותיה הנטושות של העיר. במקומות אחרים באתר נתגלו מכלולים שנבנו בתקופה הביזאנטית ויצאו מכלל שימוש, לעתים כתוצאה משריפה עזה, במהלך המאה ה-ז', כנראה לאחר הכיבוש המוסלמי. לעתים נתגלו מעל למכלולים אלה שרידי מתקנים מהתקופה המוסלמית הקדומה. בין הממצאים אשר נתגלו בפני השטח, חשובים לענייננו שני עמודי שיש גדולים, מן הסתם של אחת מכנסיות הישוב, שעליהם נחרתו כתובות ערביות בעלות אופי מוסלמי דתי מן המאה ה-ח'.
הממצאים מיבנה-ים, ובדומה להם ממצאי חפירות המצודה באשדוד-ים (מאחוז אסדוד) ומצודת הבונים (כפר לאם), מעידים באופן ברור על השינוי החד שעבר על ערי החוף של ארץ-ישראל, ובמיוחד על הקטנות יותר שבהן, במעבר מן התקופה הביזאנטית לתקופה המוסלמית הקדומה. תהליך זה החל לקראת אמצע המאה ה-ז' והגיע לכדי השלמתו כנראה במהלך המאה ה-ח'.