#29876 KnowledgeBase on H2: deleting objects scans the association tables (the reference indexes start with BRANCH, and H2 seeks an IN list only on the first index column)

enhancement

major

#29658

TL Views: Schwebende Hauptaktion (Floating Action Button) und Aktionsfächer (Speed Dial)

#29704

tl-archetype-app: Neue Anwendung standardmäßig mit React-Oberfläche erzeugen, klassische Oberfläche per Option

#29729

TL Views: Ein Flussdiagramm (flow-diagram) lässt sich nicht für Mehrfachauswahl konfigurieren

#29781

TL Views: Aktionsketten mit benannten Argumenten – Auslöser liefern mehrere Werte, Skripte verwenden sie als implizite Variablen, Aktionen mit Ergebnis führen Folgeaktionen in <with-result> aus

#29856

React UI: consolidate the access check definitions of views, commands and TL-Script functions

#29860

Konfigurationsformulare: Eingabefelder werden über fachliche Annotationen (@MultiLine, @Code, @Html, @Inline, …) gewählt, in klassischer und React-Oberfläche gleich; @ControlProvider und @ConfigControl entfallen

#29865

Configuration layering: removing a list entry whose key the underlying layers do not (or no longer) define fails the application start

#29875

Design System wave 5a: color input, icon select and slider read the design system package

#29877

Developer docs: an article on the persistency configuration of an application (single branch vs. multiple branches, type systems, what changes the schema)

#29880

XIO: Import of an evolving external format: report unknown elements, reject a second composite container with a location, match several values in one <switch> case

#29887

TL Views: Einfügevorschläge für ein Textfeld - per TL-Script berechnete Vorschläge an der Schreibmarke

#29888

view-layer forms: normalize an entered value before it is stored

#29892

view-layer forms: actions that enter and leave edit mode (<enter-edit-mode/>, <leave-edit-mode/>)

#29893

Model upgrade log does not mention a reference whose target type changed

#29896

Typed configuration: config:ref addresses an entry of a keyed list by a globally unique key without naming the path to it; a view overlay addresses every element by its id

#29904

Design System wave 5b: media controls read the design system package

#29905

Switch tl-engine to Java 21

#29906

Design System wave 5c: calendar, kanban, dashboard and value list read the design system package

#29914

Design System wave 5d: foundation pieces and foreign stylesheets read the design system package; tlReactControls.css is removed

#29917

Rollenprofil-Import: implizite Leserechte der umgebenden Sicherheits-Layouts ergänzen

#29941

TL Views: Auswahlfeld, das zusätzlich einen frei eingegebenen Wert annimmt ("auswählen oder neu eingeben")

#29942

TL Views: Erwähnungen im HTML-Editor - Verweise auf Objekte (z.B. Projektmitglieder, Tickets) per @/# einfügen, die zu Links werden

#29944

Konfigurierbare Start-Haken, die nach dem Start aller Services ausgeführt werden

#29947

Steueranwendung: Workspace-Management – leere TopLogic-Anwendung in einem Docker-Container anlegen, starten, stoppen und aufräumen

#29948

Credentials für externe Dienste ohne Geheimnisse in der Konfiguration: Secret-Quellen, Token-basierte Authentifizierung (Keycloak/OIDC, Workload Identity, Azure) und API-Gateway

#29953

Steueranwendung: Agenten-Harness im Workspace – Auftrag an Claude Code, Live-Transkript, Übernahme durch einen Menschen, LLM-Zugang über einen Proxy

#29954

KI: Modellkatalog aus der Dienstkonfiguration des LLM-Anbieter-Dienstes herausnehmen und in einer eigenen Ansicht zeigen

#29955

React-UI: Dienstkonfiguration anzeigen, bearbeiten und speichern (mit Kennzeichnung "Neustart erforderlich")

#29956

Anwendungen und Fragment-Module ohne TopLogic-Parent-POM bauen: BOM, Maven-Packaging tl-app/tl-fragment und Feature-Starter

#29957

React-Oberfläche: Browser-Tab-Titel folgt der angezeigten Ansicht

#29963

Development-Menü im React-UI nur für angemeldete Benutzer anzeigen

#29965

tl-ai-core: LLM-Anbieter ohne Anwendungskonfiguration über Umgebungsvariablen aktivieren

#29968

Filterleiste: Presets mit Zähler und eigener CSS-Klasse

#29973

XML import: <set-translation> stores an empty text and needs a bound language

#29974

XML import: <unless-known> cannot import the attributes of a known element without its structure

#29975

XML import: <resolve-existing> loads only the partition of existing objects an ID belongs to; linking checks membership without reading the whole reference

#29976

View layer: <tree-table> offers no <export> (Excel export) although the export writes trees as outlines

#29977

View layer: <tree-table> has no node display (icon, label, CSS class per cell) and no row-class

#29981

View layer: a table column cannot be declared unsortable, so the groups it forms cannot keep the order of their rows

#29989

Javadoc-Verweise und ungenutzte Imports im Maven-Build prüfen, Eclipse meldet fehlerhaftes Javadoc nur noch als Warnung

#30012

Translator: erkannte Ausgangssprache bei automatischer Spracherkennung zurückgeben

#30017

Build: Git-Merge-Treiber für die generierten Ressourcendateien, damit parallele Pull-Requests nicht bei jedem neuen Schlüssel in Konflikt geraten

#30051

Initiale Gruppen "user" und "superuser" in der Basis anlegen

minor

#29852

TL Views: Mehrwertige Binärwerte als Datei-Chips (oder Werteliste) mit Mehrfach-Upload, Pflichtfeld, Validierung und accept-Filter; <file-list> entfällt

#29872

TL Views: the min/max/step of a number input (slider) are fixed in the configuration and cannot come from a channel or expression

#29873

TL Views: a time input (ReactDatePickerControl.Kind.TIME) cannot enter or show seconds

#29874

TL Views: a select input always sorts its options by label - no way to keep the order of the option list

#29898

Development start (tl-ide-jetty) provides no Jakarta WebSocket container

#29952

React-View-Schicht: Fenster folgen Commits anderer Threads ohne eigene Konfiguration – ersetzt CommitSource und den Refresh-Teil von AgentViewRefreshService

defect

critical

#29926

Derived attributes computed by a <query> storage evaluate to null for a user without Discover right on the object (regression of #29782 in 8.0.0-alpha11)

#29994

Build: master verletzt den JavaDoc- und Import-Check von #29989 (tl-chat, tl-ai-core, tl-factory)

major

#29742

Konfigurierte Defaults (<defaults>) wirken nicht innerhalb der Anwendungskonfiguration

#29798

Derived reference reads as empty in the commit check (no user): result filter of AttributeByExpression stays on

#29869

A React view window that lost its SSE connection keeps every later KB revision in memory until its session ends

#29876

KnowledgeBase on H2: deleting objects scans the association tables (the reference indexes start with BRANCH, and H2 seeks an IN list only on the first index column)

#29886

view-layer <confirm>: line breaks of the message are collapsed

#29889

Adding one element to a set reference reads the whole set (quadratic set building)

#29895

deploy/local applies only to the module in the working directory: a module of a multi-module build cannot be started from the reactor root

#29908

React-Tabelle zeigt nach dem Neuladen der Seite in den oberen Zeilen keinen Inhalt

#29916

Rollenprofile: Leserecht eines Dialogs wird auf die öffnende Komponente übertragen

#29918

Design System: a panel's toolbar sticks to the title instead of standing at the end of the title bar

#29920

TL Views: Die Zeilenauswahl in einer React-Tabelle braucht bis zu einer Sekunde, weil jede Auswahl alle Zellen neu überträgt und bei einer Tabelle mit Eingabekanal alle Zellen neu erzeugt

#29922

Composition-Tabelle in einem Formular bekommt keine Höhe, ein Dialog kann nicht mehr bis zur Tabelle scrollen

#29923

React-Oberfläche: Inhalt eines Navigationseintrags mit route="none" erzeugt URLs, die sich nicht öffnen lassen

#29925

TestGenerateJavaIntegration fails with the split local Maven repository of the CI builds

#29931

invert-link-table makes both ends of a link the destination on MySQL

#29932

Gruppen und Adressen sind für Superuser nicht lesbar: tl.accounts:Group und tl.accounts:Address haben keine Rollenquelle

#29933

React-UI: Der Griff eines Split-Panels "läuft weg" beim Ziehen mit der Maus; tiefe Baumknoten brechen um statt waagerecht zu rollen

#29934

View-Designer: Zur Laufzeit geöffnete Sichten (Rahmen eines tile-stack, navigate-push, open-dialog) fehlen im Entwurfsbaum und lassen sich nicht per "Sicht auswählen" anwählen

#29964

React UI: password login sometimes logs out immediately - a command of the replaced window triggers the stale-UI reload of the old window URL

#29967

React-UI: Spaltenauswahl der Tabelle bietet das Gruppieren nach einer Spalte nicht mehr an

#29970

React-Bridge: Ein Sprung, der seine Zielseite erst erzeugt, malt sie ohne die gesetzte Auswahl

#29971

React-Views: Die Ausführbarkeit eines Befehls übersieht einen Commit eines fremden Threads während des Seitenaufbaus

#29978

View layer: <tree-table> does not reveal a selected object under a collapsed node and misses changes while hidden

#29979

Migration: migrations of an application module without a stored version never run, the auto model upgrade runs instead

#29980

Migration: update-class with a new-name in another module does not move the class's associations

#29983

View layer: a tab strip wider than its container neither scrolls nor wraps nor collapses into a menu

#29990

React-UI: Panels und bedingte Inhalte nehmen in Split-Flächen, Tabs und Stacks die falsche Höhe

#29991

View layer: split-panel ignores unit="px" of a pane and treats its size as a weight

#29992

React-Modelleditor: Annotation "Eingabekontrolle" bietet keine Umsetzung zur Auswahl an

#29999

React-UI: Tabelle zeigt nicht mehr an, welche Spalten gefiltert sind

#30001

Entwicklungsmodus: neu geschriebene WEB-INF-Dateien sind über den FileManager erst verzögert sichtbar (Theme-Import zeigt keine Variablen, ThemeEditor_Ticket-24158_Import-export scheitert sporadisch)

#30002

Service-Editor: Konfiguration aller Services fehlerfrei anzeigen

#30005

React-Oberfläche: Ein Einstiegspunkt verliert beim Laden seine View-Datei aus der URL, F5 zeigt die Default-View (Regression #29957)

#30013

TL Views: Auswahlfelder bieten später angelegte Objekte ihres Typs erst nach neuer Anmeldung an

#30014

React-Formulare: Sichtbarkeit beim Anlegen (create-visibility) eines Attributs wird nicht berücksichtigt

#30015

React-Oberfläche: Anlegen in einem Container wird nicht geprüft, solange der Container-Kanal leer ist

#30016

Aufzählungswerte (Klassifikatoren) sind für Benutzer ohne Administratorrechte nicht entdeckbar: Ein Aufzählungs-Attribut kann nicht gesetzt werden

#30019

TABLE.debounce() verwendet globalen Singleton-Timer — Slice-Nachladen schlägt bei mehreren Tabellen fehl

#30024

React-Oberfläche: NullPointerException in ModelAccessPolicy.isGrantable, wenn ein Zugriffs-Parent seine Parent-Typen nicht statisch kennt

#30026

Instabiler Test: TestQueueReporter#testGetReport schlägt fehl, wenn zwei Builds auf demselben Knoten gleichzeitig laufen oder der Rechner ausgelastet ist

#30030

Mail-Server-Daemon: neue Mails anhand der IMAP-UID statt des Gelesen-Flags erkennen, unbekannte Mails standardmäßig im Postfach belassen

#30055

TL Views: a table with active-preset and search-term channels renders every filtered row instead of a window; 15k rows load 88 MB and crash the browser tab

minor

#29515

Inkonsistente Drop-Typ Konfiguration für Drop-Operationen möglich

#29868

KBChangeAnalzyer logs "There is a part id ... but no item for update" for every update of a part of a monomorphic inline-set storage

#29883

A boolean attribute without a value reads as false on a persistent object, as null on a transient one

#29894

Commit einer geänderten Annotation loggt ERROR mit Stacktrace, wenn der alte Wert eines abgeleiteten Attributs (z.B. options) nicht mehr instanziierbar ist

#29935

Popup-Fenster (Skript-Rekorder, Dokumentation) lässt sich nach dem Schließen nicht sofort wieder öffnen (Edge/Chromium): Fehler "Cannot read properties of null (reading 'services')"

#29959

Persönliche Einstellungen werden nicht gespeichert, wenn der Benutzer eine verletzte Modell-Bedingung hat (z. B. root ohne Kontaktdaten)

#29960

React-Oberfläche: Browser-Tab zeigt immer "TopLogic View" statt des Anwendungsnamens

#29969

SecurityConfiguration: Crash durch DeletedObjectAccess

#29972

composition-table im Bearbeitungsmodus: die Lösch-Spalte bekommt den freien Platz statt der letzten Datenspalte

#30056

TL Views: NullPointerException in ReactControl.commitUpdate from the session-timeout notice countdown ("Failed to announce the activity of session")

task

major

#29767

Clean up loose design documents (docs/, specs/, module doc folders): valid content into the developer documentation, open work into tickets

#29924

Integrate the tl-ai repository into tl-engine: its modules become engine modules

#30037

Name the base type of polymorphic configuration properties as wildcard bound (PolymorphicConfiguration<? extends X>) and check the rule in the build

minor

#29921

Renovate hinterlässt in npm-Lock-Dateien verwaiste Einträge, die der nächste Maven-Build wieder entfernt

update

critical

#29949

Update dependency dompurify to ^3.4.17 [SECURITY]

#29950

Update dependency vite to ^6.4.4 [SECURITY]

#29984

Update dependency serialize-javascript to ^7.1.3 [SECURITY]

#30008

Update dependency com.google.guava:guava to v33 [SECURITY]

defect

major

#29876

KnowledgeBase on H2: deleting objects scans the association tables (the reference indexes start with BRANCH, and H2 seeks an IN list only on the first index column)

Migration Performance

Problem

Deleting a few hundred objects in one transaction takes 15–30 s on H2, even when the deleted objects have only a moderate number of referrers. The time does not depend on what is deleted but on how large the tables referencing the deleted type are. In the E-Home application (TopLogic 8.0.0-alpha10, H2), a test that deletes all data before importing a sample deletes about 400 root objects per run (projects, manufacturers with their catalogs, datapoint types, mask versions; the rest follows by composition):

= Variant =	= roots =	= delete =	= commit =
`tDelete()` per object	402 / 385 / 339	20.8 s / 15.0 s / 14.9 s	6.4 s / 2.1 s / 2.1 s
one `KnowledgeBase.deleteAll(items)`	402 / 385 / 339	21.1 s / 7.5 s / 8.8 s	9.2 s / 2.3 s / 2.1 s

Analysis

A Java Flight Recorder profile of the whole test suite (169 s) shows 45 % of all execution samples under

TLObject.tDelete
 DBKnowledgeItem.delete
  DefaultDBContext.removeObject
   ReferenceDeletionHelper.collectChangesForDeleted
    collectDeletions / processNewlyDeleted
     ReferenceDeletionHelper.deleteReferenceSources
      CompiledQuery (from DBKnowledgeBase.anyRefereesQuery(type, DeletionPolicy.DELETE_REFERER, TRUE, CURRENT_TARGETS, ...))
       MonomorphicSearch.fetchData
        org.h2.command.query.Select.isConditionMet
         org.h2.expression.condition.ConditionInConstantSet.getValue

For every chunk of deleted items (getMaxSetSize) and every type that has a DELETE_REFERER reference to the deleted type, one query with ref IN (...) is run. H2 does not use an index for the IN list in the generated statement (the IN condition is combined with the branch/revision conditions inside AND/OR), so it reads every row of the referrer table (e.g. the composition link tables, which hold all links of all objects) and checks the IN set row by row. With the cascade (each newly deleted level runs the queries again for the next level) the referrer tables are scanned many times per transaction.

Expected

The referrer lookup during deletion uses an index on the reference columns (destination type/id plus branch and revision), so its cost grows with the number of referrers, not with the size of the table. Possibly the statement can be shaped so that H2 (and the other DBs) pick the index for the IN list, or the referrer columns need an index for this access path.

Reproduction

Any application with a composition-heavy model on H2: import a few thousand objects, then delete a few hundred containers in one transaction and profile. Profile and timings available from the reporter (JFR file from the E-Home test suite, test.de.haumacher.ehome.roundtrip.TestRoundTrip.clearData).

Lösung

Ursache (siehe Kommentare): H2 nutzt eine IN-Liste nur auf der ersten Spalte eines Index. In allen Indexen der Wissensbasis steht BRANCH vorne, die Spalte mit der IN-Liste (Identifier bzw. Referenz-ID) an zweiter Stelle. Das betrifft nicht nur die Referer-Suche beim Löschen, sondern jede IN-Liste über IDs: Bulk-Laden von Objekten, Navigation über Assoziationen (AssociationQueryImpl), Laden dynamischer Attribute (FLEX_DATA).

Das Layout mit BRANCH vorne bleibt für alle anderen Datenbanken erhalten: für Datenbanken mit Präfix-Kompression (Oracle) ist es das günstigste, und andere DBMS nutzen ein IN auch auf einer späteren Indexspalte.

Option `branch-last`

Option branch-last am Typsystem (SchemaConfiguration, neben multiple-branches). Ohne Angabe bestimmt der SQL-Dialekt der Datenbank den Wert: DBHelper.seeksInListOnFirstIndexColumnOnly() ist true für H2 (H2Helper), sonst false. Ein gesetzter Wert überschreibt den Dialekt. Die Auflösung liegt an einer Stelle (SchemaSetup.isBranchLast(schema, dialect)).
Das gespeicherte Schema (TL_PROPERTIES) enthält immer den aufgelösten Wert; ein gespeichertes Schema ohne das Attribut (alle bestehenden Datenbanken) gilt als false.
Mit branch-last steht BRANCH direkt vor REV_MAX statt am Anfang (REV_MAX bleibt hinten, es wird nur als Bereich abgefragt); eine Hilfsklasse IndexColumnOrder ordnet die Spalten an allen Stellen gleich an:
- Primärschlüssel der Objekttabellen: IDENTIFIER, BRANCH, REV_MAX
- Referenz-Indexe (MOReferenceIndex): <REF>_ID, BRANCH, REV_MAX (bzw. <REF>_BRC bei Referenzen mit eigener Branch-Spalte)
- deklarierte, generierte Indexe (DefaultIndexColumnsStrategy): <Spalten>, BRANCH, REV_MAX; Indexe mit expliziter Spaltenliste (custom) behalten ihre Reihenfolge
- FLEX_DATA: IDENTIFIER, ATTR, BRANCH, REV_MAX
Messung (TestBranchLastH2IndexUsage, vom KB erzeugtes SQL, EXPLAIN ANALYZE): Referer-Suche für 20 von 300 Objekten liest 301 Zeilen mit BRANCH vorne, 21 Zeilen mit branch-last; Bulk-Laden über IDENTIFIER IN (...) ebenso 301 → 21.

Schlüssel von FLEX_DATA

Unabhängig von der Option entfällt TYPE aus dem Primärschlüssel von FLEX_DATA (IDs sind global eindeutig; die Spalte bleibt in der Tabelle für Auswertungen), und ATTR folgt direkt auf IDENTIFIER: Standard-Layout BRANCH, IDENTIFIER, ATTR, REV_MAX. Die Journal-Tabellen behalten ihren Schlüssel. Eine bestehende FLEX_DATA-Tabelle behält ihren Schlüssel, bis eine Layout-Umstellung (s. u.) die Schlüssel neu aufbaut.

Single-Branch nur über das Flag

multiple-branches="false" allein bestimmt den Einzel-Branch-Betrieb: Beim Erzeugen der Typen aus der Schema-Konfiguration passt MOFactory.adaptAttribute (DefaultMOFactory) das Attribut _branch an das Flag an (ohne Spalte mit TrunkStorage bzw. Spalte BRANCH mit BranchStorage); mit Branch-Spalte gehört _branch zum Primärschlüssel (MORepositoryBuilder). Das gilt für alle Repositories, auch für gespeicherte Schemas bestehender Datenbanken. singleBranchMeta.xml ist leer und bleibt nur für Konfigurationen erhalten, die es noch deklarieren; top-logic.singleBranch.config.xml setzt nur noch das Flag.

Automatische Umstellung bestehender Datenbanken

Weichen branch-last oder multiple-branches der (aufgelösten) Konfiguration vom gespeicherten Schema ab, stellt AlignTableLayoutProcessor die Tabellen beim Start automatisch um (MigrationService.executeAutomaticSchemaMigrations, nach evtl. anstehenden Migrationsskripten):

Tabellendefinitionen werden aus dem gespeicherten Schema und aus dem gespeicherten Schema mit den konfigurierten Layout-Optionen erzeugt und tabellenweise verglichen; nur Branch-Spalten, Primärschlüssel und Indexe werden angeglichen (DBSchemaUtils.alignTable, neue DBHelper-Methoden dropPrimaryKey, addPrimaryKey, renameTable, canChangePrimaryKey). Auf Oracle werden Tabellen mit Primärschlüssel-Speicherung (IOT) über eine Kopie neu aufgebaut.
single → multiple: BRANCH und die <REF>_BRC-Spalten werden angelegt und mit dem Trunk gefüllt (_BRC nur, wo die Referenz gesetzt ist).
multiple → single: die Branch-Spalten werden entfernt. Voraussetzung: es existiert nur der Trunk und keine Zeile liegt in einem anderen Branch; sonst bricht der Start mit einer Fehlermeldung ab (Tabellen, Spalten, Branch-IDs), ohne die Datenbank zu ändern.
Danach wird das gespeicherte Schema mit den neuen Optionen gespeichert; andere Unterschiede zur Konfiguration bleiben den übrigen Mechanismen überlassen.
Auf Oracle/MySQL ist DDL nicht transaktional: vor der Umstellung sichern.

Archetype

Der Archetype tl-archetype-app fragt mit der Eigenschaft useBranches nach, ob die neue Anwendung mehrere Branches braucht. Standard ist false: die generierte WEB-INF/conf/metaConf.txt enthält top-logic.singleBranch.config.xml.

Dokumentation: persistency/table-layout.md (neu), persistency/branches.md, persistency/database-notes.md, persistency/type-systems.md.

Migration

Keine Pflichtschritte.

Anwendungen auf H2: die bestehende Datenbank wird beim nächsten Start automatisch auf branch-last umgestellt (Dialekt-Standard). Wer das alte Layout behalten will, setzt branch-last="false" am Typsystem Default.
Eine Anwendung ohne eigene Branches kann top-logic.singleBranch.config.xml in ihre metaConf.txt aufnehmen; die Branch-Spalten werden beim nächsten Start entfernt (nur möglich, wenn die Datenbank nur den Trunk enthält).
Eine eigene Deklaration von singleBranchMeta.xml in der Typsystem-Konfiguration ist nicht mehr nötig und kann entfernt werden.