Fix lateral joins

Update nesting state in clean during conversion; Problems #26 and #27

Updated community membership rules

Never in a community before birth.  Never in a community other than
the birth community before under study.

Tidy up error messages.

Adjust conversion for BIOGRAPHY_DATA.DadPrelim -> DadStatus change

Solves conversion problem #11.

Change BIOGRAPHY_DATA.DadPrelim to DadStatus, update views

This also involves making "special" the sdb_dad_prelim code (Prelim)
in DAD_STATUSES.

Create and document the DAD_STATUSES support table

Solve conversion problem #51, codes in db are ok to use

Solve conversion problem #50; females with n/a cycle codes

docs(schema): clarify that biography_log.dateofudpate cannot be null

docs(erd): show nullability and quoted identifiers across ERDs

Updated ERD SVG diagrams (key, follows, events, demography) to:
- Annotate nullable columns consistently
- Indicate quoted identifiers for clarity where casing or reserved words matter
Purpose: improve schema comprehension and downstream tooling that parses diagrams.

Cannot be too old or too young when the cycle code indicates swelling

This also makes "special", the "0" and "MISS" cycle codes.
And fixes so that MISS is allowed in all cases.

Support converting a single table using multiple, serial, connections

Add additional conditions to avoid unnecessary queries when updating

Fix code comments describing too-early birth

Fix maximum female adolescent swelling (sdb_adolsecent_swelling) test

Fix test for minimum adolescent U swelling code

Adjust female adolescent age limits

This resolves conversion problems #47 and #49.

Per email:

On Oct 9, 2025, at 7:05 PM, Ian Gilby <Ian.Gilby@asu.edu> wrote:

> In follow_arrival, the youngest legitimate "U" swelling is 5.1 (FN),
> and the oldest is 14.4 (VAN)

And subsequent discussion about using integral units.

Cleanup of problem #31 and #32 taken care of in clean schema

Split load_data.sql into multiple files to support staged conversion

See the conversion/Makefile comment for more info on staged conversion
and using db statistics.

Standardize error messages in triggers

Add ARRIVALS.Seq column to diagram

Initial converson of follow_arrival table

Fix reporting of ROLES.PID in error messages

Fix the ARRIVALS trigger to correct Cycle column name

Fix problems #31 and #32 by trimming spaces and upper-casing in clean

There can be at most one arrival per event

An ARRIVALS row must be related to an event with Behavior = sdb_arrival

Use mixed-case people where possible; conversion problem #40

Create the people table in the clean schema and update the
follow table's observer columns in that schema, to make things easy
in load_data script.

Resolve problem #37

Note what solves conversion problem #38

Change so sdb_male_swelling cannot be assigned to females

Mark PEOPLE with "/" in their name inactive; conversion problem #39

Change minimum age of first birth from 8 to 10 years

Validate the use of CYCLE_STATES codes

Also, clarify the docs as to what the validation is.  There is a range
of adolescent ages.

Prevent ARRIVALS.ArID from changing

Prevent ROLES.Participant from changing

Allowing the Participant to change means that the ROLES trigger must
check ARRIVALS.Cycle against sex and birthdate.  And maybe other
checks.  This is simpler.

ROLES.Participant must be under study

Prevent EVENTS.FID from changing

If the FID is allowed to change, at minimum -- there may be other
cases, the check that ROLES.Participant must be under study
becomes complicated.  It would require code in the triggers
to trace the BIOGRAPHY_DATA.Animid <- ROLES.Participant ->
EVENTS.EID --> FOLLOWS.FID chain to check FOLLOWS.Date
against biography.  Simpler to dis-allow change.

Create and document the ARRIVALS table

Add substitution reference for "tri-valued logic"

Enforce single-ROLE row restrction for arrival events

Prevent ROLES.EID from changing

Prevent EVENTS.Behavior from changing

More documentation of EVENTS.Behavior related rules

Implement Start and Stop column constraints on EVENTS

Initial trigger on ROLES, prevent PID change

Initial trigger on EVENTS, prevent EID change

Add ARRIVAL_SOURCES table; codes for arrvial/departure data source

Index ROLES

Index EVENTS

Convert FOLLOW_STUDIES

Index FOLLOW_STUDIES

Index FOLLOW_OBSERVERS

Make ROLE_CODES.Role unique when ignoring case

Make PEOPLE.Person unique when ignoring case

Make OBS_PERIODS.Period unique when ignoring case

Make CYCLE_STATES.Code unique when ignoring case

Make COMM_MEMBS_SOURCES.CommMembSource unique when ignoring case

Make COMM_IDS.Name unique when ignoring case

Make comm_ids.CommID unique when ignoring case

New substitution reference for case-unique key columns

Use indexmacros.m4 when creating indexes

Add sdb_case_equalivance() macro for use in indexes

Convert follow -> follow_observers

There are a number of references to problem numbers, where we
automate fixes.  These have not been approved by the PIs and
may change.

Enforce rule that a follow must have a related FOLLOW_OBSERVERS row

Allow PEOPLE.Person to have embedded spaces

Add creation of a NONE person to the conversion

Add warning when it looks like there's duplicate FOLLOW_OBSERVERS

The BIOGRAPHY_LOG.BLID cannot change

The COMM_MEMB_LOG.CommMLID cannot change

The COMM_MEMBS.CommMID cannot change

The FOLLOW_OBSERVERS.FOID cannot change

The FOLLOWS.FID cannot change

Convert into the FOLLOWS table

Check that a follow happens only when the individual is under study

Add INSERT and UPDATE trigger to FOLLOWS table.  Adjust BIOGRAPHY_DATA
triggers for check of changes to Entrydate and Departdate.

Index the FOLLOWS table

Use constraint allowing empty text for FOLLOWS.Notes

Add ROLES table

Merge branch 'master' of /srv/repos/kop_sokwedb

Modify diagram: An EVENTS row need not always have a related row on ROLES

Add ROLE_CODES table

Add CYCLE_STATES table to db

Add SPECIES_PRESENT table

Enforce PEOPLE.Active on FOLLOW_OBSERVERS

New macro for checking that PEOPLE.Active is TRUE before use

Add SPECIES table

Add HUMANS table

Add nonnegative macros/substitution

Initial list of event codes, without hyperlinking to relevant tables

Support converting MGM, MGF, MGF2, MGF3

Make system aware of MGM, MGF, MGF2, and MGF3 unknown individuals

Add CERTAINTIES table

Merge branch 'master' of /srv/repos/kop_sokwedb

Remove EVENTS.Seq column from diagram

Change EVENTS.End to EVENTS.Stop in diagrams

Add EVENTS table

Remove EVENTS.Seq column from diagram

Change EVENTS.End to EVENTS.Stop in diagrams

Remove FOLLOW_ARRIVALS table in favor of the EVENTS model

Comment out some other tables, until the ARRIVALS table exists
and needs them.
Rename the constant which identifies an arriving individual with
certainty.

Seconds are 0 in times unless otherwise noted