Create SIGHTINGS trigger

Put lower bound on SIGHTINGS.Date

Add note documenting relations between extracted AGGRESSIONS columns

Document that AGGRESSIONS FullAccount, AggressorBehavior, and
RecipientBehavior can all be duplicate information.

Add the AGGRESSIONS.RecipientBehavior column

Add the AGGRESSIONS.AggressorBehavior column

Add the AGGRESSIONS.FullAccount column

Fix AGGRESSIONS substituition references' anchors

Fix RST syntax

Have AGGRESSIONS.Severity validate off the AGG_SEVERITIES table

The clean.ae_fight_category column needs to have a single space
normalized to NULL.

Create and document the AGG_SEVERITIES table

For aggressions, EVENTS.Certainty is the certainty of the recipient

After phone discussion with Ian, 2026-05-13.

The MS Access aggression_event.ae_recipient_certainty_flag column
will need to be normalized to 'Y' and 'N' in the "clean" schema.
NULL and N means false, Y and X means true.  And some other
illegitimate values exist.

Use better SQL literal syntax

Spelling

Produce warning when AGGRESSIONS.Community <> FOLLOWS.Community

Create SIGHTINGS table

Somehow, the file that defines the table was empty.

This fixes the error that prevents comments from loading into the db
when the db is (re)created.

Create the NON_BREC_SIGHTING_SOURCES table

This fixes errors reported by gen_comments.py when creating the database.

Load aggression comments into EVENTS.notes

Fix permissions on AGGRESSIONS table

Fix for problem #68

Fix for problem #67

Fix for problem #66

Fix for problem #65

Convert AGGRESSION_EVENT -> AGGRESSIONS

Create table, document table, and implement rules for AGGRESSIONS table

Fix character case of MS Access column name

Make "Actor" and "Actee" roles into special values

Convert AGGRESSION_EVENT_LOG table

Simplify code by selecting EVENTS only once

Create AGGRESSION_EVENT_LOG table

Document when tables are not in an ER diagram

Spelling

Resolve problem #63

(cherry picked from commit d1211f4e90ee47da5bdf606656387790b358d391)

Resolve problem #62

(cherry picked from commit 9f55a8f0fbcb76b16033c1791256b74c3ffd1dd4)

Set permissions properly for problem 25

fix compare state missing semicolon

Reverse direction of conversion state comparison

Resolve problem #25

Resolve problem #24, and introduce framework conversion data changes

This introduces the conv_state schema, where state is saved
that records "automatic" changes the conversion makes to the
converted data.  When the MS Access data is changed and
the conversion re-run, the "new" automatic changes can be compared
to the changes made to the previous data set.

The "compare-state" make target can be used to report differences
between the old and new data.  Review this report to ensure
that the automated "fixes" do not change something that should
not be changed.

Indentation

Be consistent in use of "continuation" make targets

Problem #11 is resolved in Access

change BIOGRAPHY_DATA.animidnum values of 0 to NULL

Solves problem #59

Fix broken link and improve date and time docs

Make ESTRUS_STATES table and indexes

Create ESTRUS_SOURCES table and indexes

Create SIGHTING_RECORDS table and indexes

Add ARRIVALS.Seq column to DDL

Initial ESTRUS_STATES design

New ESTRUS_SOURCES table to support non-SokweDB estrus data sources

Update SIGHTING_SOURCES to support estrus data

SIGHTING_SOURCES contains old BRec data

Note problems with per-page HTML when file names are changed

"make clean-docs" must be run to be sure old html content is removed.

Clarify when CYCLE_STATES.AsNum should be NULL

Add missing substitution reference for CYCLE_STATES.AsNum

Move date restriction rule from analysis results to source data table

Tweak wording

Create a separate section for tables populated automatically

Alphabetize

SIGHTINGS does not contain estrus information

Spelling: estrous -> estrus

Support local m4 include files

"Local" include files are in db/schemas/*/<type>/include/, where
"<type>" is functions, indexes, tables, triggers, etc.

Produce the "drop notices" when dropping -- use correct file

Ensure gen_func_comment_tmpl() is installed for recreate-db target

Dropping the schemas drops the function, and it needs to be re-installed.

Install gen_func_comment_tmpl() only when comments change

Update docs with new view code regardless of db DDL execution

Add ESTRUS_STATES and ESTRUS_SOURCES to diagram

Remove estrus columns from SIGHTINGS

Add NON_BREC_SIGHTING_SOURCES to diagram

Initial design of SIGHTINGS

Includes the tables: SIGHTINGS, NON_BREC_SIGHTING_SOURCES, SIGHTING_RECORDS

Add arrival warning of contiguous time periods

Document that event start and stop times are inclusive

Note that there is a warning only when "certain" arrival events overlap

Remove redundant arrivals warnings

Add CYCLE_STATES.AsNum column

Add a "double precision" replacement text

It might make sense to move the other double precision related
verbiage in CYCLE_STATES.AsNum into the epilog and make
futher replacement text.

Put a TOC in each table's docs above the column docs

Actually use the FOLLOW_STUDIES summary in the docs

Add verbage describing code tables; move TOC to below the verbage

Document ARRIVALS.Seq

Add warnings regarding strange ARRIVALS rows

These could be hard rules, enforced with triggers.  But that would
require data cleanup before conversion.

It would be good to add hard rules for all data that is entered into
the system after a certain date.  Then, the date could gradually be
pushed back as older data is cleaned up.  Unfortunately, this is not
in the budget.

Fix markup

Remove trailing spaces from follow_arrival.fa_fol_b_focal_animid

Fixes problem #56

Fix lateral joins

Update nesting state in clean during conversion; Problems #26 and #27

Updated community membership rules

Never in a community before birth.  Never in a community other than
the birth community before under study.

Tidy up error messages.

Adjust conversion for BIOGRAPHY_DATA.DadPrelim -> DadStatus change

Solves conversion problem #11.

Change BIOGRAPHY_DATA.DadPrelim to DadStatus, update views

This also involves making "special" the sdb_dad_prelim code (Prelim)
in DAD_STATUSES.

Create and document the DAD_STATUSES support table

Solve conversion problem #51, codes in db are ok to use

Solve conversion problem #50; females with n/a cycle codes

docs(schema): clarify that biography_log.dateofudpate cannot be null

docs(erd): show nullability and quoted identifiers across ERDs

Updated ERD SVG diagrams (key, follows, events, demography) to:
- Annotate nullable columns consistently
- Indicate quoted identifiers for clarity where casing or reserved words matter
Purpose: improve schema comprehension and downstream tooling that parses diagrams.

Cannot be too old or too young when the cycle code indicates swelling

This also makes "special", the "0" and "MISS" cycle codes.
And fixes so that MISS is allowed in all cases.

Support converting a single table using multiple, serial, connections

Add additional conditions to avoid unnecessary queries when updating

Fix code comments describing too-early birth

Fix maximum female adolescent swelling (sdb_adolsecent_swelling) test

Fix test for minimum adolescent U swelling code

Adjust female adolescent age limits

This resolves conversion problems #47 and #49.

Per email:

On Oct 9, 2025, at 7:05 PM, Ian Gilby <Ian.Gilby@asu.edu> wrote:

> In follow_arrival, the youngest legitimate "U" swelling is 5.1 (FN),
> and the oldest is 14.4 (VAN)

And subsequent discussion about using integral units.

Cleanup of problem #31 and #32 taken care of in clean schema