Fix broken link and improve date and time docs

Make ESTRUS_STATES table and indexes

Create ESTRUS_SOURCES table and indexes

Create SIGHTING_RECORDS table and indexes

Add ARRIVALS.Seq column to DDL

Initial ESTRUS_STATES design

New ESTRUS_SOURCES table to support non-SokweDB estrus data sources

Update SIGHTING_SOURCES to support estrus data

SIGHTING_SOURCES contains old BRec data

Note problems with per-page HTML when file names are changed

"make clean-docs" must be run to be sure old html content is removed.

Clarify when CYCLE_STATES.AsNum should be NULL

Add missing substitution reference for CYCLE_STATES.AsNum

Move date restriction rule from analysis results to source data table

Tweak wording

Create a separate section for tables populated automatically

Alphabetize

SIGHTINGS does not contain estrus information

Spelling: estrous -> estrus

Support local m4 include files

"Local" include files are in db/schemas/*/<type>/include/, where
"<type>" is functions, indexes, tables, triggers, etc.

Produce the "drop notices" when dropping -- use correct file

Ensure gen_func_comment_tmpl() is installed for recreate-db target

Dropping the schemas drops the function, and it needs to be re-installed.

Install gen_func_comment_tmpl() only when comments change

Update docs with new view code regardless of db DDL execution

Add ESTRUS_STATES and ESTRUS_SOURCES to diagram

Remove estrus columns from SIGHTINGS

Add NON_BREC_SIGHTING_SOURCES to diagram

Initial design of SIGHTINGS

Includes the tables: SIGHTINGS, NON_BREC_SIGHTING_SOURCES, SIGHTING_RECORDS

Add arrival warning of contiguous time periods

Document that event start and stop times are inclusive

Note that there is a warning only when "certain" arrival events overlap

Remove redundant arrivals warnings

Add CYCLE_STATES.AsNum column

Add a "double precision" replacement text

It might make sense to move the other double precision related
verbiage in CYCLE_STATES.AsNum into the epilog and make
futher replacement text.

Put a TOC in each table's docs above the column docs

Actually use the FOLLOW_STUDIES summary in the docs

Add verbage describing code tables; move TOC to below the verbage

Document ARRIVALS.Seq

Add warnings regarding strange ARRIVALS rows

These could be hard rules, enforced with triggers.  But that would
require data cleanup before conversion.

It would be good to add hard rules for all data that is entered into
the system after a certain date.  Then, the date could gradually be
pushed back as older data is cleaned up.  Unfortunately, this is not
in the budget.

Fix markup

Remove trailing spaces from follow_arrival.fa_fol_b_focal_animid

Fixes problem #56

Fix lateral joins

Update nesting state in clean during conversion; Problems #26 and #27

Updated community membership rules

Never in a community before birth.  Never in a community other than
the birth community before under study.

Tidy up error messages.

Adjust conversion for BIOGRAPHY_DATA.DadPrelim -> DadStatus change

Solves conversion problem #11.

Change BIOGRAPHY_DATA.DadPrelim to DadStatus, update views

This also involves making "special" the sdb_dad_prelim code (Prelim)
in DAD_STATUSES.

Create and document the DAD_STATUSES support table

Solve conversion problem #51, codes in db are ok to use

Solve conversion problem #50; females with n/a cycle codes

docs(schema): clarify that biography_log.dateofudpate cannot be null

docs(erd): show nullability and quoted identifiers across ERDs

Updated ERD SVG diagrams (key, follows, events, demography) to:
- Annotate nullable columns consistently
- Indicate quoted identifiers for clarity where casing or reserved words matter
Purpose: improve schema comprehension and downstream tooling that parses diagrams.

Cannot be too old or too young when the cycle code indicates swelling

This also makes "special", the "0" and "MISS" cycle codes.
And fixes so that MISS is allowed in all cases.

Support converting a single table using multiple, serial, connections

Add additional conditions to avoid unnecessary queries when updating

Fix code comments describing too-early birth

Fix maximum female adolescent swelling (sdb_adolsecent_swelling) test

Fix test for minimum adolescent U swelling code

Adjust female adolescent age limits

This resolves conversion problems #47 and #49.

Per email:

On Oct 9, 2025, at 7:05 PM, Ian Gilby <Ian.Gilby@asu.edu> wrote:

> In follow_arrival, the youngest legitimate "U" swelling is 5.1 (FN),
> and the oldest is 14.4 (VAN)

And subsequent discussion about using integral units.

Cleanup of problem #31 and #32 taken care of in clean schema

Split load_data.sql into multiple files to support staged conversion

See the conversion/Makefile comment for more info on staged conversion
and using db statistics.

Standardize error messages in triggers

Add ARRIVALS.Seq column to diagram

Initial converson of follow_arrival table

Fix reporting of ROLES.PID in error messages

Fix the ARRIVALS trigger to correct Cycle column name

Fix problems #31 and #32 by trimming spaces and upper-casing in clean

There can be at most one arrival per event

An ARRIVALS row must be related to an event with Behavior = sdb_arrival

Use mixed-case people where possible; conversion problem #40

Create the people table in the clean schema and update the
follow table's observer columns in that schema, to make things easy
in load_data script.

Resolve problem #37

Note what solves conversion problem #38

Change so sdb_male_swelling cannot be assigned to females

Mark PEOPLE with "/" in their name inactive; conversion problem #39

Change minimum age of first birth from 8 to 10 years

Validate the use of CYCLE_STATES codes

Also, clarify the docs as to what the validation is.  There is a range
of adolescent ages.

Prevent ARRIVALS.ArID from changing

Prevent ROLES.Participant from changing

Allowing the Participant to change means that the ROLES trigger must
check ARRIVALS.Cycle against sex and birthdate.  And maybe other
checks.  This is simpler.

ROLES.Participant must be under study

Prevent EVENTS.FID from changing

If the FID is allowed to change, at minimum -- there may be other
cases, the check that ROLES.Participant must be under study
becomes complicated.  It would require code in the triggers
to trace the BIOGRAPHY_DATA.Animid <- ROLES.Participant ->
EVENTS.EID --> FOLLOWS.FID chain to check FOLLOWS.Date
against biography.  Simpler to dis-allow change.

Create and document the ARRIVALS table

Add substitution reference for "tri-valued logic"

Enforce single-ROLE row restrction for arrival events

Prevent ROLES.EID from changing

Prevent EVENTS.Behavior from changing

More documentation of EVENTS.Behavior related rules

Implement Start and Stop column constraints on EVENTS

Initial trigger on ROLES, prevent PID change

Initial trigger on EVENTS, prevent EID change

Add ARRIVAL_SOURCES table; codes for arrvial/departure data source

Index ROLES

Index EVENTS

Convert FOLLOW_STUDIES

Index FOLLOW_STUDIES

Index FOLLOW_OBSERVERS

Make ROLE_CODES.Role unique when ignoring case

Make PEOPLE.Person unique when ignoring case

Make OBS_PERIODS.Period unique when ignoring case

Make CYCLE_STATES.Code unique when ignoring case

Make COMM_MEMBS_SOURCES.CommMembSource unique when ignoring case

Make COMM_IDS.Name unique when ignoring case

Make comm_ids.CommID unique when ignoring case