Use and vendor golang.org/x/net/ipv4 and golang.org/x/net/ipv6 (#594)
This commit is contained in:
parent
6da3249dfb
commit
325e98bb86
|
@ -7,9 +7,15 @@
|
||||||
packages = ["ed25519","ed25519/internal/edwards25519"]
|
packages = ["ed25519","ed25519/internal/edwards25519"]
|
||||||
revision = "b080dc9a8c480b08e698fb1219160d598526310f"
|
revision = "b080dc9a8c480b08e698fb1219160d598526310f"
|
||||||
|
|
||||||
|
[[projects]]
|
||||||
|
branch = "master"
|
||||||
|
name = "golang.org/x/net"
|
||||||
|
packages = ["bpf","internal/iana","internal/socket","ipv4","ipv6"]
|
||||||
|
revision = "894f8ed5849b15b810ae41e9590a0d05395bba27"
|
||||||
|
|
||||||
[solve-meta]
|
[solve-meta]
|
||||||
analyzer-name = "dep"
|
analyzer-name = "dep"
|
||||||
analyzer-version = 1
|
analyzer-version = 1
|
||||||
inputs-digest = "5046e265393bd5e54f570ce29ae8bc6fa3f30ef5110e922996540400f287c64a"
|
inputs-digest = "c4abc38abaeeeeb9be92455c9c02cae32841122b8982aaa067ef25bb8e86ff9d"
|
||||||
solver-name = "gps-cdcl"
|
solver-name = "gps-cdcl"
|
||||||
solver-version = 1
|
solver-version = 1
|
||||||
|
|
|
@ -1,7 +0,0 @@
|
||||||
// +build linux
|
|
||||||
|
|
||||||
package socket
|
|
||||||
|
|
||||||
func (h *cmsghdr) len() int { return int(h.Len) }
|
|
||||||
func (h *cmsghdr) lvl() int { return int(h.Level) }
|
|
||||||
func (h *cmsghdr) typ() int { return int(h.Type) }
|
|
|
@ -1,118 +0,0 @@
|
||||||
package socket
|
|
||||||
|
|
||||||
import (
|
|
||||||
"errors"
|
|
||||||
"unsafe"
|
|
||||||
)
|
|
||||||
|
|
||||||
func controlHeaderLen() int {
|
|
||||||
return roundup(sizeofCmsghdr)
|
|
||||||
}
|
|
||||||
|
|
||||||
func controlMessageLen(dataLen int) int {
|
|
||||||
return roundup(sizeofCmsghdr) + dataLen
|
|
||||||
}
|
|
||||||
|
|
||||||
// returns the whole length of control message.
|
|
||||||
func ControlMessageSpace(dataLen int) int {
|
|
||||||
return roundup(sizeofCmsghdr) + roundup(dataLen)
|
|
||||||
}
|
|
||||||
|
|
||||||
// A ControlMessage represents the head message in a stream of control
|
|
||||||
// messages.
|
|
||||||
//
|
|
||||||
// A control message comprises of a header, data and a few padding
|
|
||||||
// fields to conform to the interface to the kernel.
|
|
||||||
//
|
|
||||||
// See RFC 3542 for further information.
|
|
||||||
type ControlMessage []byte
|
|
||||||
|
|
||||||
// Data returns the data field of the control message at the head.
|
|
||||||
func (m ControlMessage) Data(dataLen int) []byte {
|
|
||||||
l := controlHeaderLen()
|
|
||||||
if len(m) < l || len(m) < l+dataLen {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
return m[l : l+dataLen]
|
|
||||||
}
|
|
||||||
|
|
||||||
// ParseHeader parses and returns the header fields of the control
|
|
||||||
// message at the head.
|
|
||||||
func (m ControlMessage) ParseHeader() (lvl, typ, dataLen int, err error) {
|
|
||||||
l := controlHeaderLen()
|
|
||||||
if len(m) < l {
|
|
||||||
return 0, 0, 0, errors.New("short message")
|
|
||||||
}
|
|
||||||
h := (*cmsghdr)(unsafe.Pointer(&m[0]))
|
|
||||||
return h.lvl(), h.typ(), int(uint64(h.len()) - uint64(l)), nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// Next returns the control message at the next.
|
|
||||||
func (m ControlMessage) Next(dataLen int) ControlMessage {
|
|
||||||
l := ControlMessageSpace(dataLen)
|
|
||||||
if len(m) < l {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
return m[l:]
|
|
||||||
}
|
|
||||||
|
|
||||||
// MarshalHeader marshals the header fields of the control message at
|
|
||||||
// the head.
|
|
||||||
func (m ControlMessage) MarshalHeader(lvl, typ, dataLen int) error {
|
|
||||||
if len(m) < controlHeaderLen() {
|
|
||||||
return errors.New("short message")
|
|
||||||
}
|
|
||||||
h := (*cmsghdr)(unsafe.Pointer(&m[0]))
|
|
||||||
h.set(controlMessageLen(dataLen), lvl, typ)
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// Marshal marshals the control message at the head, and returns the next
|
|
||||||
// control message.
|
|
||||||
func (m ControlMessage) Marshal(lvl, typ int, data []byte) (ControlMessage, error) {
|
|
||||||
l := len(data)
|
|
||||||
if len(m) < ControlMessageSpace(l) {
|
|
||||||
return nil, errors.New("short message")
|
|
||||||
}
|
|
||||||
h := (*cmsghdr)(unsafe.Pointer(&m[0]))
|
|
||||||
h.set(controlMessageLen(l), lvl, typ)
|
|
||||||
if l > 0 {
|
|
||||||
copy(m.Data(l), data)
|
|
||||||
}
|
|
||||||
return m.Next(l), nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// Parse parses as a single or multiple control messages.
|
|
||||||
func (m ControlMessage) Parse() ([]ControlMessage, error) {
|
|
||||||
var ms []ControlMessage
|
|
||||||
for len(m) >= controlHeaderLen() {
|
|
||||||
h := (*cmsghdr)(unsafe.Pointer(&m[0]))
|
|
||||||
l := h.len()
|
|
||||||
if l <= 0 {
|
|
||||||
return nil, errors.New("invalid header length")
|
|
||||||
}
|
|
||||||
if uint64(l) < uint64(controlHeaderLen()) {
|
|
||||||
return nil, errors.New("invalid message length")
|
|
||||||
}
|
|
||||||
if uint64(l) > uint64(len(m)) {
|
|
||||||
return nil, errors.New("short buffer")
|
|
||||||
}
|
|
||||||
ms = append(ms, ControlMessage(m[:l]))
|
|
||||||
ll := l - controlHeaderLen()
|
|
||||||
if len(m) >= ControlMessageSpace(ll) {
|
|
||||||
m = m[ControlMessageSpace(ll):]
|
|
||||||
} else {
|
|
||||||
m = m[controlMessageLen(ll):]
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return ms, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// NewControlMessage returns a new stream of control messages.
|
|
||||||
func NewControlMessage(dataLen []int) ControlMessage {
|
|
||||||
var l int
|
|
||||||
for i := range dataLen {
|
|
||||||
l += ControlMessageSpace(dataLen[i])
|
|
||||||
}
|
|
||||||
return make([]byte, l)
|
|
||||||
}
|
|
|
@ -1,103 +0,0 @@
|
||||||
// +build linux
|
|
||||||
|
|
||||||
package socket
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"testing"
|
|
||||||
)
|
|
||||||
|
|
||||||
type mockControl struct {
|
|
||||||
Level int
|
|
||||||
Type int
|
|
||||||
Data []byte
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestControlMessage(t *testing.T) {
|
|
||||||
for _, tt := range []struct {
|
|
||||||
cs []mockControl
|
|
||||||
}{
|
|
||||||
{
|
|
||||||
[]mockControl{
|
|
||||||
{Level: 1, Type: 1},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
{
|
|
||||||
[]mockControl{
|
|
||||||
{Level: 2, Type: 2, Data: []byte{0xfe}},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
{
|
|
||||||
[]mockControl{
|
|
||||||
{Level: 3, Type: 3, Data: []byte{0xfe, 0xff, 0xff, 0xfe}},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
{
|
|
||||||
[]mockControl{
|
|
||||||
{Level: 4, Type: 4, Data: []byte{0xfe, 0xff, 0xff, 0xfe, 0xfe, 0xff, 0xff, 0xfe}},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
{
|
|
||||||
[]mockControl{
|
|
||||||
{Level: 4, Type: 4, Data: []byte{0xfe, 0xff, 0xff, 0xfe, 0xfe, 0xff, 0xff, 0xfe}},
|
|
||||||
{Level: 2, Type: 2, Data: []byte{0xfe}},
|
|
||||||
},
|
|
||||||
},
|
|
||||||
} {
|
|
||||||
var w []byte
|
|
||||||
var tailPadLen int
|
|
||||||
mm := NewControlMessage([]int{0})
|
|
||||||
for i, c := range tt.cs {
|
|
||||||
m := NewControlMessage([]int{len(c.Data)})
|
|
||||||
l := len(m) - len(mm)
|
|
||||||
if i == len(tt.cs)-1 && l > len(c.Data) {
|
|
||||||
tailPadLen = l - len(c.Data)
|
|
||||||
}
|
|
||||||
w = append(w, m...)
|
|
||||||
}
|
|
||||||
|
|
||||||
var err error
|
|
||||||
ww := make([]byte, len(w))
|
|
||||||
copy(ww, w)
|
|
||||||
m := ControlMessage(ww)
|
|
||||||
for _, c := range tt.cs {
|
|
||||||
if err = m.MarshalHeader(c.Level, c.Type, len(c.Data)); err != nil {
|
|
||||||
t.Fatalf("(%v).MarshalHeader() = %v", tt.cs, err)
|
|
||||||
}
|
|
||||||
copy(m.Data(len(c.Data)), c.Data)
|
|
||||||
m = m.Next(len(c.Data))
|
|
||||||
}
|
|
||||||
m = ControlMessage(w)
|
|
||||||
for _, c := range tt.cs {
|
|
||||||
m, err = m.Marshal(c.Level, c.Type, c.Data)
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("(%v).Marshal() = %v", tt.cs, err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if !bytes.Equal(ww, w) {
|
|
||||||
t.Fatalf("got %#v; want %#v", ww, w)
|
|
||||||
}
|
|
||||||
|
|
||||||
ws := [][]byte{w}
|
|
||||||
if tailPadLen > 0 {
|
|
||||||
// Test a message with no tail padding.
|
|
||||||
nopad := w[:len(w)-tailPadLen]
|
|
||||||
ws = append(ws, [][]byte{nopad}...)
|
|
||||||
}
|
|
||||||
for _, w := range ws {
|
|
||||||
ms, err := ControlMessage(w).Parse()
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("(%v).Parse() = %v", tt.cs, err)
|
|
||||||
}
|
|
||||||
for i, m := range ms {
|
|
||||||
lvl, typ, dataLen, err := m.ParseHeader()
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("(%v).ParseHeader() = %v", tt.cs, err)
|
|
||||||
}
|
|
||||||
if lvl != tt.cs[i].Level || typ != tt.cs[i].Type || dataLen != len(tt.cs[i].Data) {
|
|
||||||
t.Fatalf("%v: got %d, %d, %d; want %d, %d, %d", tt.cs[i], lvl, typ, dataLen, tt.cs[i].Level, tt.cs[i].Type, len(tt.cs[i].Data))
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
|
@ -1,4 +0,0 @@
|
||||||
// Package socket contains ControlMessage parsing code from
|
|
||||||
// golang.org/x/net/internal/socket. Instead of supporting all possible
|
|
||||||
// architectures, we're only supporting linux 32/64 bit.
|
|
||||||
package socket
|
|
|
@ -1,14 +0,0 @@
|
||||||
package socket
|
|
||||||
|
|
||||||
import "unsafe"
|
|
||||||
|
|
||||||
var (
|
|
||||||
kernelAlign = func() int {
|
|
||||||
var p uintptr
|
|
||||||
return int(unsafe.Sizeof(p))
|
|
||||||
}()
|
|
||||||
)
|
|
||||||
|
|
||||||
func roundup(l int) int {
|
|
||||||
return (l + kernelAlign - 1) & ^(kernelAlign - 1)
|
|
||||||
}
|
|
52
udp.go
52
udp.go
|
@ -4,6 +4,9 @@ package dns
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"net"
|
"net"
|
||||||
|
|
||||||
|
"golang.org/x/net/ipv4"
|
||||||
|
"golang.org/x/net/ipv6"
|
||||||
)
|
)
|
||||||
|
|
||||||
// SessionUDP holds the remote address and the associated
|
// SessionUDP holds the remote address and the associated
|
||||||
|
@ -34,12 +37,53 @@ func WriteToSessionUDP(conn *net.UDPConn, b []byte, session *SessionUDP) (int, e
|
||||||
return n, err
|
return n, err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func setUDPSocketOptions(conn *net.UDPConn) error {
|
||||||
|
// Try setting the flags for both families and ignore the errors unless they
|
||||||
|
// both error.
|
||||||
|
err6 := ipv6.NewPacketConn(conn).SetControlMessage(ipv6.FlagDst|ipv6.FlagInterface, true)
|
||||||
|
err4 := ipv4.NewPacketConn(conn).SetControlMessage(ipv4.FlagDst|ipv4.FlagInterface, true)
|
||||||
|
if err6 != nil && err4 != nil {
|
||||||
|
return err4
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// parseDstFromOOB takes oob data and returns the destination IP.
|
||||||
|
func parseDstFromOOB(oob []byte) net.IP {
|
||||||
|
// Start with IPv6 and then fallback to IPv4
|
||||||
|
// TODO(fastest963): Figure out a way to prefer one or the other. Looking at
|
||||||
|
// the lvl of the header for a 0 or 41 isn't cross-platform.
|
||||||
|
var dst net.IP
|
||||||
|
cm6 := new(ipv6.ControlMessage)
|
||||||
|
if cm6.Parse(oob) == nil {
|
||||||
|
dst = cm6.Dst
|
||||||
|
}
|
||||||
|
if dst == nil {
|
||||||
|
cm4 := new(ipv4.ControlMessage)
|
||||||
|
if cm4.Parse(oob) == nil {
|
||||||
|
dst = cm4.Dst
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return dst
|
||||||
|
}
|
||||||
|
|
||||||
// correctSource takes oob data and returns new oob data with the Src equal to the Dst
|
// correctSource takes oob data and returns new oob data with the Src equal to the Dst
|
||||||
func correctSource(oob []byte) []byte {
|
func correctSource(oob []byte) []byte {
|
||||||
dst, err := parseUDPSocketDst(oob)
|
dst := parseDstFromOOB(oob)
|
||||||
// If the destination could not be determined, ignore.
|
if dst == nil {
|
||||||
if err != nil || dst == nil {
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
return marshalUDPSocketSrc(dst)
|
// If the dst is definitely an IPv6, then use ipv6's ControlMessage to
|
||||||
|
// respond otherwise use ipv4's because ipv6's marshal ignores ipv4
|
||||||
|
// addresses.
|
||||||
|
if dst.To4() == nil {
|
||||||
|
cm := new(ipv6.ControlMessage)
|
||||||
|
cm.Src = dst
|
||||||
|
oob = cm.Marshal()
|
||||||
|
} else {
|
||||||
|
cm := new(ipv4.ControlMessage)
|
||||||
|
cm.Src = dst
|
||||||
|
oob = cm.Marshal()
|
||||||
|
}
|
||||||
|
return oob
|
||||||
}
|
}
|
||||||
|
|
220
udp_linux.go
220
udp_linux.go
|
@ -1,220 +0,0 @@
|
||||||
// +build linux,!appengine
|
|
||||||
|
|
||||||
package dns
|
|
||||||
|
|
||||||
// See:
|
|
||||||
// * http://stackoverflow.com/questions/3062205/setting-the-source-ip-for-a-udp-socket and
|
|
||||||
// * http://blog.powerdns.com/2012/10/08/on-binding-datagram-udp-sockets-to-the-any-addresses/
|
|
||||||
//
|
|
||||||
// Why do we need this: When listening on 0.0.0.0 with UDP so kernel decides what is the outgoing
|
|
||||||
// interface, this might not always be the correct one. This code will make sure the egress
|
|
||||||
// packet's interface matched the ingress' one.
|
|
||||||
|
|
||||||
import (
|
|
||||||
"net"
|
|
||||||
"syscall"
|
|
||||||
"unsafe"
|
|
||||||
|
|
||||||
"github.com/miekg/dns/internal/socket"
|
|
||||||
)
|
|
||||||
|
|
||||||
const (
|
|
||||||
sizeofInet6Pktinfo = 0x14
|
|
||||||
sizeofInetPktinfo = 0xc
|
|
||||||
protocolIP = 0
|
|
||||||
protocolIPv6 = 41
|
|
||||||
)
|
|
||||||
|
|
||||||
type inetPktinfo struct {
|
|
||||||
Ifindex int32
|
|
||||||
Spec_dst [4]byte /* in_addr */
|
|
||||||
Addr [4]byte /* in_addr */
|
|
||||||
}
|
|
||||||
|
|
||||||
type inet6Pktinfo struct {
|
|
||||||
Addr [16]byte /* in6_addr */
|
|
||||||
Ifindex int32
|
|
||||||
}
|
|
||||||
|
|
||||||
type inetControlMessage struct {
|
|
||||||
Src net.IP // source address, specifying only
|
|
||||||
Dst net.IP // destination address, receiving only
|
|
||||||
}
|
|
||||||
|
|
||||||
// setUDPSocketOptions sets the UDP socket options.
|
|
||||||
// This function is implemented on a per platform basis. See udp_*.go for more details
|
|
||||||
func setUDPSocketOptions(conn *net.UDPConn) error {
|
|
||||||
sa, err := getUDPSocketName(conn)
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
switch sa.(type) {
|
|
||||||
case *syscall.SockaddrInet6:
|
|
||||||
v6only, err := getUDPSocketOptions6Only(conn)
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
setUDPSocketOptions6(conn)
|
|
||||||
if !v6only {
|
|
||||||
setUDPSocketOptions4(conn)
|
|
||||||
}
|
|
||||||
case *syscall.SockaddrInet4:
|
|
||||||
setUDPSocketOptions4(conn)
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// setUDPSocketOptions4 prepares the v4 socket for sessions.
|
|
||||||
func setUDPSocketOptions4(conn *net.UDPConn) error {
|
|
||||||
file, err := conn.File()
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
if err := syscall.SetsockoptInt(int(file.Fd()), syscall.IPPROTO_IP, syscall.IP_PKTINFO, 1); err != nil {
|
|
||||||
file.Close()
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
// Calling File() above results in the connection becoming blocking, we must fix that.
|
|
||||||
// See https://github.com/miekg/dns/issues/279
|
|
||||||
err = syscall.SetNonblock(int(file.Fd()), true)
|
|
||||||
if err != nil {
|
|
||||||
file.Close()
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
file.Close()
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// setUDPSocketOptions6 prepares the v6 socket for sessions.
|
|
||||||
func setUDPSocketOptions6(conn *net.UDPConn) error {
|
|
||||||
file, err := conn.File()
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
if err := syscall.SetsockoptInt(int(file.Fd()), syscall.IPPROTO_IPV6, syscall.IPV6_RECVPKTINFO, 1); err != nil {
|
|
||||||
file.Close()
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
err = syscall.SetNonblock(int(file.Fd()), true)
|
|
||||||
if err != nil {
|
|
||||||
file.Close()
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
file.Close()
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// getUDPSocketOption6Only return true if the socket is v6 only and false when it is v4/v6 combined
|
|
||||||
// (dualstack).
|
|
||||||
func getUDPSocketOptions6Only(conn *net.UDPConn) (bool, error) {
|
|
||||||
file, err := conn.File()
|
|
||||||
if err != nil {
|
|
||||||
return false, err
|
|
||||||
}
|
|
||||||
// dual stack. See http://stackoverflow.com/questions/1618240/how-to-support-both-ipv4-and-ipv6-connections
|
|
||||||
v6only, err := syscall.GetsockoptInt(int(file.Fd()), syscall.IPPROTO_IPV6, syscall.IPV6_V6ONLY)
|
|
||||||
if err != nil {
|
|
||||||
file.Close()
|
|
||||||
return false, err
|
|
||||||
}
|
|
||||||
file.Close()
|
|
||||||
return v6only == 1, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func getUDPSocketName(conn *net.UDPConn) (syscall.Sockaddr, error) {
|
|
||||||
file, err := conn.File()
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
defer file.Close()
|
|
||||||
return syscall.Getsockname(int(file.Fd()))
|
|
||||||
}
|
|
||||||
|
|
||||||
// marshalInetPacketInfo marshals a ipv4 control message, returning
|
|
||||||
// the byte slice for the next marshal, if any
|
|
||||||
func marshalInetPacketInfo(b []byte, cm *inetControlMessage) []byte {
|
|
||||||
m := socket.ControlMessage(b)
|
|
||||||
m.MarshalHeader(protocolIP, syscall.IP_PKTINFO, sizeofInetPktinfo)
|
|
||||||
if cm != nil {
|
|
||||||
pi := (*inetPktinfo)(unsafe.Pointer(&m.Data(sizeofInetPktinfo)[0]))
|
|
||||||
if ip := cm.Src.To4(); ip != nil {
|
|
||||||
copy(pi.Spec_dst[:], ip)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return m.Next(sizeofInetPktinfo)
|
|
||||||
}
|
|
||||||
|
|
||||||
// marshalInet6PacketInfo marshals a ipv6 control message, returning
|
|
||||||
// the byte slice for the next marshal, if any
|
|
||||||
func marshalInet6PacketInfo(b []byte, cm *inetControlMessage) []byte {
|
|
||||||
m := socket.ControlMessage(b)
|
|
||||||
m.MarshalHeader(protocolIPv6, syscall.IPV6_PKTINFO, sizeofInet6Pktinfo)
|
|
||||||
if cm != nil {
|
|
||||||
pi := (*inet6Pktinfo)(unsafe.Pointer(&m.Data(sizeofInet6Pktinfo)[0]))
|
|
||||||
if ip := cm.Src.To16(); ip != nil && ip.To4() == nil {
|
|
||||||
copy(pi.Addr[:], ip)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return m.Next(sizeofInet6Pktinfo)
|
|
||||||
}
|
|
||||||
|
|
||||||
func parseInetPacketInfo(cm *inetControlMessage, b []byte) {
|
|
||||||
pi := (*inetPktinfo)(unsafe.Pointer(&b[0]))
|
|
||||||
if len(cm.Dst) < net.IPv4len {
|
|
||||||
cm.Dst = make(net.IP, net.IPv4len)
|
|
||||||
}
|
|
||||||
copy(cm.Dst, pi.Addr[:])
|
|
||||||
}
|
|
||||||
|
|
||||||
func parseInet6PacketInfo(cm *inetControlMessage, b []byte) {
|
|
||||||
pi := (*inet6Pktinfo)(unsafe.Pointer(&b[0]))
|
|
||||||
if len(cm.Dst) < net.IPv6len {
|
|
||||||
cm.Dst = make(net.IP, net.IPv6len)
|
|
||||||
}
|
|
||||||
copy(cm.Dst, pi.Addr[:])
|
|
||||||
}
|
|
||||||
|
|
||||||
// parseUDPSocketDst takes out-of-band data from ReadMsgUDP and parses it for
|
|
||||||
// the Dst address
|
|
||||||
func parseUDPSocketDst(oob []byte) (net.IP, error) {
|
|
||||||
cm := new(inetControlMessage)
|
|
||||||
ms, err := socket.ControlMessage(oob).Parse()
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
for _, m := range ms {
|
|
||||||
lvl, typ, l, err := m.ParseHeader()
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
if lvl == protocolIPv6 { // IPv6
|
|
||||||
if typ == syscall.IPV6_PKTINFO && l >= sizeofInet6Pktinfo {
|
|
||||||
parseInet6PacketInfo(cm, m.Data(l))
|
|
||||||
}
|
|
||||||
} else if lvl == protocolIP { // IPv4
|
|
||||||
if typ == syscall.IP_PKTINFO && l >= sizeofInetPktinfo {
|
|
||||||
parseInetPacketInfo(cm, m.Data(l))
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return cm.Dst, nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// marshalUDPSocketSrc takes the given src address and returns out-of-band data
|
|
||||||
// to give to WriteMsgUDP
|
|
||||||
func marshalUDPSocketSrc(src net.IP) []byte {
|
|
||||||
var oob []byte
|
|
||||||
// If the dst is definitely an ipv6, then use ipv6 control to respond
|
|
||||||
// otherwise use ipv4 because the ipv6 marshal ignores ipv4 messages.
|
|
||||||
// See marshalInet6PacketInfo
|
|
||||||
cm := new(inetControlMessage)
|
|
||||||
cm.Src = src
|
|
||||||
if src.To4() == nil {
|
|
||||||
oob = make([]byte, socket.ControlMessageSpace(sizeofInet6Pktinfo))
|
|
||||||
marshalInet6PacketInfo(oob, cm)
|
|
||||||
} else {
|
|
||||||
oob = make([]byte, socket.ControlMessageSpace(sizeofInetPktinfo))
|
|
||||||
marshalInetPacketInfo(oob, cm)
|
|
||||||
}
|
|
||||||
return oob
|
|
||||||
}
|
|
|
@ -1,68 +0,0 @@
|
||||||
// +build linux,!appengine
|
|
||||||
|
|
||||||
package dns
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"net"
|
|
||||||
"testing"
|
|
||||||
)
|
|
||||||
|
|
||||||
func TestParseUDPSocketDst(t *testing.T) {
|
|
||||||
// dst is :ffff:100.100.100.100
|
|
||||||
oob := []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 255, 255, 100, 100, 100, 100, 2, 0, 0, 0}
|
|
||||||
dst, err := parseUDPSocketDst(oob)
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("error parsing ipv6 oob: %v", err)
|
|
||||||
}
|
|
||||||
dst4 := dst.To4()
|
|
||||||
if dst4 == nil {
|
|
||||||
t.Errorf("failed to parse ipv4: %v", dst)
|
|
||||||
} else if dst4.String() != "100.100.100.100" {
|
|
||||||
t.Errorf("unexpected ipv4: %v", dst4)
|
|
||||||
}
|
|
||||||
|
|
||||||
// dst is 2001:db8::1
|
|
||||||
oob = []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 32, 1, 13, 184, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0}
|
|
||||||
dst, err = parseUDPSocketDst(oob)
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("error parsing ipv6 oob: %v", err)
|
|
||||||
}
|
|
||||||
dst6 := dst.To16()
|
|
||||||
if dst6 == nil {
|
|
||||||
t.Errorf("failed to parse ipv6: %v", dst)
|
|
||||||
} else if dst6.String() != "2001:db8::1" {
|
|
||||||
t.Errorf("unexpected ipv6: %v", dst4)
|
|
||||||
}
|
|
||||||
|
|
||||||
// dst is 100.100.100.100 but was received on 10.10.10.10
|
|
||||||
oob = []byte{28, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 0, 0, 0, 2, 0, 0, 0, 10, 10, 10, 10, 100, 100, 100, 100, 0, 0, 0, 0}
|
|
||||||
dst, err = parseUDPSocketDst(oob)
|
|
||||||
if err != nil {
|
|
||||||
t.Fatalf("error parsing ipv4 oob: %v", err)
|
|
||||||
}
|
|
||||||
dst4 = dst.To4()
|
|
||||||
if dst4 == nil {
|
|
||||||
t.Errorf("failed to parse ipv4: %v", dst)
|
|
||||||
} else if dst4.String() != "100.100.100.100" {
|
|
||||||
t.Errorf("unexpected ipv4: %v", dst4)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestMarshalUDPSocketSrc(t *testing.T) {
|
|
||||||
// src is 100.100.100.100
|
|
||||||
exoob := []byte{28, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 0, 0, 0, 0, 0, 0, 0, 100, 100, 100, 100, 0, 0, 0, 0, 0, 0, 0, 0}
|
|
||||||
oob := marshalUDPSocketSrc(net.ParseIP("100.100.100.100"))
|
|
||||||
if !bytes.Equal(exoob, oob) {
|
|
||||||
t.Errorf("expected ipv4 oob:\n%v", exoob)
|
|
||||||
t.Errorf("actual ipv4 oob:\n%v", oob)
|
|
||||||
}
|
|
||||||
|
|
||||||
// src is 2001:db8::1
|
|
||||||
exoob = []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 32, 1, 13, 184, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0}
|
|
||||||
oob = marshalUDPSocketSrc(net.ParseIP("2001:db8::1"))
|
|
||||||
if !bytes.Equal(exoob, oob) {
|
|
||||||
t.Errorf("expected ipv6 oob:\n%v", exoob)
|
|
||||||
t.Errorf("actual ipv6 oob:\n%v", oob)
|
|
||||||
}
|
|
||||||
}
|
|
17
udp_other.go
17
udp_other.go
|
@ -1,17 +0,0 @@
|
||||||
// +build !linux appengine
|
|
||||||
|
|
||||||
package dns
|
|
||||||
|
|
||||||
import (
|
|
||||||
"net"
|
|
||||||
)
|
|
||||||
|
|
||||||
// These do nothing. See udp_linux.go for an example of how to implement this.
|
|
||||||
|
|
||||||
// We tried to adhire to some kind of naming scheme.
|
|
||||||
func setUDPSocketOptions(conn *net.UDPConn) error { return nil }
|
|
||||||
func setUDPSocketOptions4(conn *net.UDPConn) error { return nil }
|
|
||||||
func setUDPSocketOptions6(conn *net.UDPConn) error { return nil }
|
|
||||||
func getUDPSocketOptions6Only(conn *net.UDPConn) (bool, error) { return false, nil }
|
|
||||||
func parseUDPSocketDst(oob []byte) (net.IP, error) { return nil, nil }
|
|
||||||
func marshalUDPSocketSrc(src net.IP) []byte { return nil }
|
|
|
@ -0,0 +1,126 @@
|
||||||
|
// +build linux,!appengine
|
||||||
|
|
||||||
|
package dns
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"net"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"golang.org/x/net/ipv4"
|
||||||
|
"golang.org/x/net/ipv6"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestSetUDPSocketOptions(t *testing.T) {
|
||||||
|
// returns an error if we cannot resolve that address
|
||||||
|
testFamily := func(n, addr string) error {
|
||||||
|
a, err := net.ResolveUDPAddr(n, addr)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
c, err := net.ListenUDP(n, a)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := setUDPSocketOptions(c); err != nil {
|
||||||
|
t.Fatalf("failed to set socket options: %v", err)
|
||||||
|
}
|
||||||
|
ch := make(chan *SessionUDP)
|
||||||
|
go func() {
|
||||||
|
// Set some deadline so this goroutine doesn't hang forever
|
||||||
|
c.SetReadDeadline(time.Now().Add(time.Minute))
|
||||||
|
b := make([]byte, 1)
|
||||||
|
_, sess, err := ReadFromSessionUDP(c, b)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to read from conn: %v", err)
|
||||||
|
}
|
||||||
|
ch <- sess
|
||||||
|
}()
|
||||||
|
|
||||||
|
c2, err := net.Dial("udp", c.LocalAddr().String())
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to dial udp: %v", err)
|
||||||
|
}
|
||||||
|
if _, err := c2.Write([]byte{1}); err != nil {
|
||||||
|
t.Fatalf("failed to write to conn: %v", err)
|
||||||
|
}
|
||||||
|
sess := <-ch
|
||||||
|
if len(sess.context) == 0 {
|
||||||
|
t.Fatalf("empty session context: %v", sess)
|
||||||
|
}
|
||||||
|
ip := parseDstFromOOB(sess.context)
|
||||||
|
if ip == nil {
|
||||||
|
t.Fatalf("failed to parse dst: %v", sess)
|
||||||
|
}
|
||||||
|
if !strings.Contains(c.LocalAddr().String(), ip.String()) {
|
||||||
|
t.Fatalf("dst was different than listen addr: %v != %v", ip.String(), c.LocalAddr().String())
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// we require that ipv4 be supported
|
||||||
|
if err := testFamily("udp4", "127.0.0.1:0"); err != nil {
|
||||||
|
t.Fatalf("failed to test socket options on IPv4: %v", err)
|
||||||
|
}
|
||||||
|
// IPv6 might not be supported so these will just log
|
||||||
|
if err := testFamily("udp6", "[::1]:0"); err != nil {
|
||||||
|
t.Logf("failed to test socket options on IPv6-only: %v", err)
|
||||||
|
}
|
||||||
|
if err := testFamily("udp", "[::1]:0"); err != nil {
|
||||||
|
t.Logf("failed to test socket options on IPv6/IPv4: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestParseDstFromOOB(t *testing.T) {
|
||||||
|
// dst is :ffff:100.100.100.100
|
||||||
|
oob := []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 255, 255, 100, 100, 100, 100, 2, 0, 0, 0}
|
||||||
|
dst := parseDstFromOOB(oob)
|
||||||
|
dst4 := dst.To4()
|
||||||
|
if dst4 == nil {
|
||||||
|
t.Errorf("failed to parse IPv4 in IPv6: %v", dst)
|
||||||
|
} else if dst4.String() != "100.100.100.100" {
|
||||||
|
t.Errorf("unexpected IPv4: %v", dst4)
|
||||||
|
}
|
||||||
|
|
||||||
|
// dst is 2001:db8::1
|
||||||
|
oob = []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 32, 1, 13, 184, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0}
|
||||||
|
dst = parseDstFromOOB(oob)
|
||||||
|
dst6 := dst.To16()
|
||||||
|
if dst6 == nil {
|
||||||
|
t.Errorf("failed to parse IPv6: %v", dst)
|
||||||
|
} else if dst6.String() != "2001:db8::1" {
|
||||||
|
t.Errorf("unexpected IPv6: %v", dst4)
|
||||||
|
}
|
||||||
|
|
||||||
|
// dst is 100.100.100.100 but was received on 10.10.10.10
|
||||||
|
oob = []byte{28, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 0, 0, 0, 2, 0, 0, 0, 10, 10, 10, 10, 100, 100, 100, 100, 0, 0, 0, 0}
|
||||||
|
dst = parseDstFromOOB(oob)
|
||||||
|
dst4 = dst.To4()
|
||||||
|
if dst4 == nil {
|
||||||
|
t.Errorf("failed to parse IPv4: %v", dst)
|
||||||
|
} else if dst4.String() != "100.100.100.100" {
|
||||||
|
t.Errorf("unexpected IPv4: %v", dst4)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestCorrectSource(t *testing.T) {
|
||||||
|
// dst is :ffff:100.100.100.100 which should be counted as IPv4
|
||||||
|
oob := []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 255, 255, 100, 100, 100, 100, 2, 0, 0, 0}
|
||||||
|
soob := correctSource(oob)
|
||||||
|
cm4 := new(ipv4.ControlMessage)
|
||||||
|
cm4.Src = net.ParseIP("100.100.100.100")
|
||||||
|
if !bytes.Equal(soob, cm4.Marshal()) {
|
||||||
|
t.Errorf("unexpected oob for ipv4 address: %v", soob)
|
||||||
|
}
|
||||||
|
|
||||||
|
// dst is 2001:db8::1
|
||||||
|
oob = []byte{36, 0, 0, 0, 0, 0, 0, 0, 41, 0, 0, 0, 50, 0, 0, 0, 32, 1, 13, 184, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0}
|
||||||
|
soob = correctSource(oob)
|
||||||
|
cm6 := new(ipv6.ControlMessage)
|
||||||
|
cm6.Src = net.ParseIP("2001:db8::1")
|
||||||
|
if !bytes.Equal(soob, cm6.Marshal()) {
|
||||||
|
t.Errorf("unexpected oob for IPv6 address: %v", soob)
|
||||||
|
}
|
||||||
|
}
|
|
@ -14,6 +14,7 @@ func (s *SessionUDP) RemoteAddr() net.Addr { return s.raddr }
|
||||||
|
|
||||||
// ReadFromSessionUDP acts just like net.UDPConn.ReadFrom(), but returns a session object instead of a
|
// ReadFromSessionUDP acts just like net.UDPConn.ReadFrom(), but returns a session object instead of a
|
||||||
// net.UDPAddr.
|
// net.UDPAddr.
|
||||||
|
// TODO(fastest963): Once go1.10 is released, use ReadMsgUDP.
|
||||||
func ReadFromSessionUDP(conn *net.UDPConn, b []byte) (int, *SessionUDP, error) {
|
func ReadFromSessionUDP(conn *net.UDPConn, b []byte) (int, *SessionUDP, error) {
|
||||||
n, raddr, err := conn.ReadFrom(b)
|
n, raddr, err := conn.ReadFrom(b)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
@ -24,7 +25,13 @@ func ReadFromSessionUDP(conn *net.UDPConn, b []byte) (int, *SessionUDP, error) {
|
||||||
}
|
}
|
||||||
|
|
||||||
// WriteToSessionUDP acts just like net.UDPConn.WriteTo(), but uses a *SessionUDP instead of a net.Addr.
|
// WriteToSessionUDP acts just like net.UDPConn.WriteTo(), but uses a *SessionUDP instead of a net.Addr.
|
||||||
|
// TODO(fastest963): Once go1.10 is released, use WriteMsgUDP.
|
||||||
func WriteToSessionUDP(conn *net.UDPConn, b []byte, session *SessionUDP) (int, error) {
|
func WriteToSessionUDP(conn *net.UDPConn, b []byte, session *SessionUDP) (int, error) {
|
||||||
n, err := conn.WriteTo(b, session.raddr)
|
n, err := conn.WriteTo(b, session.raddr)
|
||||||
return n, err
|
return n, err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// TODO(fastest963): Once go1.10 is released and we can use *MsgUDP methods
|
||||||
|
// use the standard method in udp.go for these.
|
||||||
|
func setUDPSocketOptions(*net.UDPConn) error { return nil }
|
||||||
|
func parseDstFromOOB([]byte, net.IP) net.IP { return nil }
|
||||||
|
|
|
@ -0,0 +1,10 @@
|
||||||
|
# Treat all files in this repo as binary, with no git magic updating
|
||||||
|
# line endings. Windows users contributing to Go will need to use a
|
||||||
|
# modern version of git and editors capable of LF line endings.
|
||||||
|
#
|
||||||
|
# We'll prevent accidental CRLF line endings from entering the repo
|
||||||
|
# via the git-review gofmt checks.
|
||||||
|
#
|
||||||
|
# See golang.org/issue/9281
|
||||||
|
|
||||||
|
* -text
|
|
@ -0,0 +1,2 @@
|
||||||
|
# Add no patterns to .hgignore except for files generated by the build.
|
||||||
|
last-change
|
|
@ -0,0 +1,3 @@
|
||||||
|
# This source code refers to The Go Authors for copyright purposes.
|
||||||
|
# The master list of authors is in the main Go distribution,
|
||||||
|
# visible at http://tip.golang.org/AUTHORS.
|
|
@ -0,0 +1,31 @@
|
||||||
|
# Contributing to Go
|
||||||
|
|
||||||
|
Go is an open source project.
|
||||||
|
|
||||||
|
It is the work of hundreds of contributors. We appreciate your help!
|
||||||
|
|
||||||
|
|
||||||
|
## Filing issues
|
||||||
|
|
||||||
|
When [filing an issue](https://golang.org/issue/new), make sure to answer these five questions:
|
||||||
|
|
||||||
|
1. What version of Go are you using (`go version`)?
|
||||||
|
2. What operating system and processor architecture are you using?
|
||||||
|
3. What did you do?
|
||||||
|
4. What did you expect to see?
|
||||||
|
5. What did you see instead?
|
||||||
|
|
||||||
|
General questions should go to the [golang-nuts mailing list](https://groups.google.com/group/golang-nuts) instead of the issue tracker.
|
||||||
|
The gophers there will answer or ask you to file an issue if you've tripped over a bug.
|
||||||
|
|
||||||
|
## Contributing code
|
||||||
|
|
||||||
|
Please read the [Contribution Guidelines](https://golang.org/doc/contribute.html)
|
||||||
|
before sending patches.
|
||||||
|
|
||||||
|
**We do not accept GitHub pull requests**
|
||||||
|
(we use [Gerrit](https://code.google.com/p/gerrit/) instead for code review).
|
||||||
|
|
||||||
|
Unless otherwise noted, the Go source files are distributed under
|
||||||
|
the BSD-style license found in the LICENSE file.
|
||||||
|
|
|
@ -0,0 +1,3 @@
|
||||||
|
# This source code was written by the Go contributors.
|
||||||
|
# The master list of contributors is in the main Go distribution,
|
||||||
|
# visible at http://tip.golang.org/CONTRIBUTORS.
|
|
@ -0,0 +1,27 @@
|
||||||
|
Copyright (c) 2009 The Go Authors. All rights reserved.
|
||||||
|
|
||||||
|
Redistribution and use in source and binary forms, with or without
|
||||||
|
modification, are permitted provided that the following conditions are
|
||||||
|
met:
|
||||||
|
|
||||||
|
* Redistributions of source code must retain the above copyright
|
||||||
|
notice, this list of conditions and the following disclaimer.
|
||||||
|
* Redistributions in binary form must reproduce the above
|
||||||
|
copyright notice, this list of conditions and the following disclaimer
|
||||||
|
in the documentation and/or other materials provided with the
|
||||||
|
distribution.
|
||||||
|
* Neither the name of Google Inc. nor the names of its
|
||||||
|
contributors may be used to endorse or promote products derived from
|
||||||
|
this software without specific prior written permission.
|
||||||
|
|
||||||
|
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
|
||||||
|
"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
|
||||||
|
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
|
||||||
|
A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
|
||||||
|
OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
|
||||||
|
SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
|
||||||
|
LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
|
||||||
|
DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
|
||||||
|
THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
|
||||||
|
(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
|
||||||
|
OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
|
@ -0,0 +1,22 @@
|
||||||
|
Additional IP Rights Grant (Patents)
|
||||||
|
|
||||||
|
"This implementation" means the copyrightable works distributed by
|
||||||
|
Google as part of the Go project.
|
||||||
|
|
||||||
|
Google hereby grants to You a perpetual, worldwide, non-exclusive,
|
||||||
|
no-charge, royalty-free, irrevocable (except as stated in this section)
|
||||||
|
patent license to make, have made, use, offer to sell, sell, import,
|
||||||
|
transfer and otherwise run, modify and propagate the contents of this
|
||||||
|
implementation of Go, where such license applies only to those patent
|
||||||
|
claims, both currently owned or controlled by Google and acquired in
|
||||||
|
the future, licensable by Google that are necessarily infringed by this
|
||||||
|
implementation of Go. This grant does not include claims that would be
|
||||||
|
infringed only as a consequence of further modification of this
|
||||||
|
implementation. If you or your agent or exclusive licensee institute or
|
||||||
|
order or agree to the institution of patent litigation against any
|
||||||
|
entity (including a cross-claim or counterclaim in a lawsuit) alleging
|
||||||
|
that this implementation of Go or any code incorporated within this
|
||||||
|
implementation of Go constitutes direct or contributory patent
|
||||||
|
infringement, or inducement of patent infringement, then any patent
|
||||||
|
rights granted to you under this License for this implementation of Go
|
||||||
|
shall terminate as of the date such litigation is filed.
|
|
@ -0,0 +1,16 @@
|
||||||
|
# Go Networking
|
||||||
|
|
||||||
|
This repository holds supplementary Go networking libraries.
|
||||||
|
|
||||||
|
## Download/Install
|
||||||
|
|
||||||
|
The easiest way to install is to run `go get -u golang.org/x/net`. You can
|
||||||
|
also manually git clone the repository to `$GOPATH/src/golang.org/x/net`.
|
||||||
|
|
||||||
|
## Report Issues / Send Patches
|
||||||
|
|
||||||
|
This repository uses Gerrit for code changes. To learn how to submit
|
||||||
|
changes to this repository, see https://golang.org/doc/contribute.html.
|
||||||
|
The main issue tracker for the net repository is located at
|
||||||
|
https://github.com/golang/go/issues. Prefix your issue with "x/net:" in the
|
||||||
|
subject line, so it is easy to find.
|
|
@ -0,0 +1,41 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
import "fmt"
|
||||||
|
|
||||||
|
// Assemble converts insts into raw instructions suitable for loading
|
||||||
|
// into a BPF virtual machine.
|
||||||
|
//
|
||||||
|
// Currently, no optimization is attempted, the assembled program flow
|
||||||
|
// is exactly as provided.
|
||||||
|
func Assemble(insts []Instruction) ([]RawInstruction, error) {
|
||||||
|
ret := make([]RawInstruction, len(insts))
|
||||||
|
var err error
|
||||||
|
for i, inst := range insts {
|
||||||
|
ret[i], err = inst.Assemble()
|
||||||
|
if err != nil {
|
||||||
|
return nil, fmt.Errorf("assembling instruction %d: %s", i+1, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return ret, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Disassemble attempts to parse raw back into
|
||||||
|
// Instructions. Unrecognized RawInstructions are assumed to be an
|
||||||
|
// extension not implemented by this package, and are passed through
|
||||||
|
// unchanged to the output. The allDecoded value reports whether insts
|
||||||
|
// contains no RawInstructions.
|
||||||
|
func Disassemble(raw []RawInstruction) (insts []Instruction, allDecoded bool) {
|
||||||
|
insts = make([]Instruction, len(raw))
|
||||||
|
allDecoded = true
|
||||||
|
for i, r := range raw {
|
||||||
|
insts[i] = r.Disassemble()
|
||||||
|
if _, ok := insts[i].(RawInstruction); ok {
|
||||||
|
allDecoded = false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return insts, allDecoded
|
||||||
|
}
|
|
@ -0,0 +1,218 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
// A Register is a register of the BPF virtual machine.
|
||||||
|
type Register uint16
|
||||||
|
|
||||||
|
const (
|
||||||
|
// RegA is the accumulator register. RegA is always the
|
||||||
|
// destination register of ALU operations.
|
||||||
|
RegA Register = iota
|
||||||
|
// RegX is the indirection register, used by LoadIndirect
|
||||||
|
// operations.
|
||||||
|
RegX
|
||||||
|
)
|
||||||
|
|
||||||
|
// An ALUOp is an arithmetic or logic operation.
|
||||||
|
type ALUOp uint16
|
||||||
|
|
||||||
|
// ALU binary operation types.
|
||||||
|
const (
|
||||||
|
ALUOpAdd ALUOp = iota << 4
|
||||||
|
ALUOpSub
|
||||||
|
ALUOpMul
|
||||||
|
ALUOpDiv
|
||||||
|
ALUOpOr
|
||||||
|
ALUOpAnd
|
||||||
|
ALUOpShiftLeft
|
||||||
|
ALUOpShiftRight
|
||||||
|
aluOpNeg // Not exported because it's the only unary ALU operation, and gets its own instruction type.
|
||||||
|
ALUOpMod
|
||||||
|
ALUOpXor
|
||||||
|
)
|
||||||
|
|
||||||
|
// A JumpTest is a comparison operator used in conditional jumps.
|
||||||
|
type JumpTest uint16
|
||||||
|
|
||||||
|
// Supported operators for conditional jumps.
|
||||||
|
const (
|
||||||
|
// K == A
|
||||||
|
JumpEqual JumpTest = iota
|
||||||
|
// K != A
|
||||||
|
JumpNotEqual
|
||||||
|
// K > A
|
||||||
|
JumpGreaterThan
|
||||||
|
// K < A
|
||||||
|
JumpLessThan
|
||||||
|
// K >= A
|
||||||
|
JumpGreaterOrEqual
|
||||||
|
// K <= A
|
||||||
|
JumpLessOrEqual
|
||||||
|
// K & A != 0
|
||||||
|
JumpBitsSet
|
||||||
|
// K & A == 0
|
||||||
|
JumpBitsNotSet
|
||||||
|
)
|
||||||
|
|
||||||
|
// An Extension is a function call provided by the kernel that
|
||||||
|
// performs advanced operations that are expensive or impossible
|
||||||
|
// within the BPF virtual machine.
|
||||||
|
//
|
||||||
|
// Extensions are only implemented by the Linux kernel.
|
||||||
|
//
|
||||||
|
// TODO: should we prune this list? Some of these extensions seem
|
||||||
|
// either broken or near-impossible to use correctly, whereas other
|
||||||
|
// (len, random, ifindex) are quite useful.
|
||||||
|
type Extension int
|
||||||
|
|
||||||
|
// Extension functions available in the Linux kernel.
|
||||||
|
const (
|
||||||
|
// extOffset is the negative maximum number of instructions used
|
||||||
|
// to load instructions by overloading the K argument.
|
||||||
|
extOffset = -0x1000
|
||||||
|
// ExtLen returns the length of the packet.
|
||||||
|
ExtLen Extension = 1
|
||||||
|
// ExtProto returns the packet's L3 protocol type.
|
||||||
|
ExtProto Extension = 0
|
||||||
|
// ExtType returns the packet's type (skb->pkt_type in the kernel)
|
||||||
|
//
|
||||||
|
// TODO: better documentation. How nice an API do we want to
|
||||||
|
// provide for these esoteric extensions?
|
||||||
|
ExtType Extension = 4
|
||||||
|
// ExtPayloadOffset returns the offset of the packet payload, or
|
||||||
|
// the first protocol header that the kernel does not know how to
|
||||||
|
// parse.
|
||||||
|
ExtPayloadOffset Extension = 52
|
||||||
|
// ExtInterfaceIndex returns the index of the interface on which
|
||||||
|
// the packet was received.
|
||||||
|
ExtInterfaceIndex Extension = 8
|
||||||
|
// ExtNetlinkAttr returns the netlink attribute of type X at
|
||||||
|
// offset A.
|
||||||
|
ExtNetlinkAttr Extension = 12
|
||||||
|
// ExtNetlinkAttrNested returns the nested netlink attribute of
|
||||||
|
// type X at offset A.
|
||||||
|
ExtNetlinkAttrNested Extension = 16
|
||||||
|
// ExtMark returns the packet's mark value.
|
||||||
|
ExtMark Extension = 20
|
||||||
|
// ExtQueue returns the packet's assigned hardware queue.
|
||||||
|
ExtQueue Extension = 24
|
||||||
|
// ExtLinkLayerType returns the packet's hardware address type
|
||||||
|
// (e.g. Ethernet, Infiniband).
|
||||||
|
ExtLinkLayerType Extension = 28
|
||||||
|
// ExtRXHash returns the packets receive hash.
|
||||||
|
//
|
||||||
|
// TODO: figure out what this rxhash actually is.
|
||||||
|
ExtRXHash Extension = 32
|
||||||
|
// ExtCPUID returns the ID of the CPU processing the current
|
||||||
|
// packet.
|
||||||
|
ExtCPUID Extension = 36
|
||||||
|
// ExtVLANTag returns the packet's VLAN tag.
|
||||||
|
ExtVLANTag Extension = 44
|
||||||
|
// ExtVLANTagPresent returns non-zero if the packet has a VLAN
|
||||||
|
// tag.
|
||||||
|
//
|
||||||
|
// TODO: I think this might be a lie: it reads bit 0x1000 of the
|
||||||
|
// VLAN header, which changed meaning in recent revisions of the
|
||||||
|
// spec - this extension may now return meaningless information.
|
||||||
|
ExtVLANTagPresent Extension = 48
|
||||||
|
// ExtVLANProto returns 0x8100 if the frame has a VLAN header,
|
||||||
|
// 0x88a8 if the frame has a "Q-in-Q" double VLAN header, or some
|
||||||
|
// other value if no VLAN information is present.
|
||||||
|
ExtVLANProto Extension = 60
|
||||||
|
// ExtRand returns a uniformly random uint32.
|
||||||
|
ExtRand Extension = 56
|
||||||
|
)
|
||||||
|
|
||||||
|
// The following gives names to various bit patterns used in opcode construction.
|
||||||
|
|
||||||
|
const (
|
||||||
|
opMaskCls uint16 = 0x7
|
||||||
|
// opClsLoad masks
|
||||||
|
opMaskLoadDest = 0x01
|
||||||
|
opMaskLoadWidth = 0x18
|
||||||
|
opMaskLoadMode = 0xe0
|
||||||
|
// opClsALU
|
||||||
|
opMaskOperandSrc = 0x08
|
||||||
|
opMaskOperator = 0xf0
|
||||||
|
// opClsJump
|
||||||
|
opMaskJumpConst = 0x0f
|
||||||
|
opMaskJumpCond = 0xf0
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
// | AddrMode (3b) | LoadWidth (2b) | 0 | 0 | 0 |
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
opClsLoadA uint16 = iota
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
// | AddrMode (3b) | LoadWidth (2b) | 0 | 0 | 1 |
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
opClsLoadX
|
||||||
|
// +---+---+---+---+---+---+---+---+
|
||||||
|
// | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 |
|
||||||
|
// +---+---+---+---+---+---+---+---+
|
||||||
|
opClsStoreA
|
||||||
|
// +---+---+---+---+---+---+---+---+
|
||||||
|
// | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 |
|
||||||
|
// +---+---+---+---+---+---+---+---+
|
||||||
|
opClsStoreX
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
// | Operator (4b) | OperandSrc (1b) | 1 | 0 | 0 |
|
||||||
|
// +---------------+-----------------+---+---+---+
|
||||||
|
opClsALU
|
||||||
|
// +-----------------------------+---+---+---+---+
|
||||||
|
// | TestOperator (4b) | 0 | 1 | 0 | 1 |
|
||||||
|
// +-----------------------------+---+---+---+---+
|
||||||
|
opClsJump
|
||||||
|
// +---+-------------------------+---+---+---+---+
|
||||||
|
// | 0 | 0 | 0 | RetSrc (1b) | 0 | 1 | 1 | 0 |
|
||||||
|
// +---+-------------------------+---+---+---+---+
|
||||||
|
opClsReturn
|
||||||
|
// +---+-------------------------+---+---+---+---+
|
||||||
|
// | 0 | 0 | 0 | TXAorTAX (1b) | 0 | 1 | 1 | 1 |
|
||||||
|
// +---+-------------------------+---+---+---+---+
|
||||||
|
opClsMisc
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
opAddrModeImmediate uint16 = iota << 5
|
||||||
|
opAddrModeAbsolute
|
||||||
|
opAddrModeIndirect
|
||||||
|
opAddrModeScratch
|
||||||
|
opAddrModePacketLen // actually an extension, not an addressing mode.
|
||||||
|
opAddrModeMemShift
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
opLoadWidth4 uint16 = iota << 3
|
||||||
|
opLoadWidth2
|
||||||
|
opLoadWidth1
|
||||||
|
)
|
||||||
|
|
||||||
|
// Operator defined by ALUOp*
|
||||||
|
|
||||||
|
const (
|
||||||
|
opALUSrcConstant uint16 = iota << 3
|
||||||
|
opALUSrcX
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
opJumpAlways = iota << 4
|
||||||
|
opJumpEqual
|
||||||
|
opJumpGT
|
||||||
|
opJumpGE
|
||||||
|
opJumpSet
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
opRetSrcConstant uint16 = iota << 4
|
||||||
|
opRetSrcA
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
opMiscTAX = 0x00
|
||||||
|
opMiscTXA = 0x80
|
||||||
|
)
|
|
@ -0,0 +1,82 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
/*
|
||||||
|
|
||||||
|
Package bpf implements marshaling and unmarshaling of programs for the
|
||||||
|
Berkeley Packet Filter virtual machine, and provides a Go implementation
|
||||||
|
of the virtual machine.
|
||||||
|
|
||||||
|
BPF's main use is to specify a packet filter for network taps, so that
|
||||||
|
the kernel doesn't have to expensively copy every packet it sees to
|
||||||
|
userspace. However, it's been repurposed to other areas where running
|
||||||
|
user code in-kernel is needed. For example, Linux's seccomp uses BPF
|
||||||
|
to apply security policies to system calls. For simplicity, this
|
||||||
|
documentation refers only to packets, but other uses of BPF have their
|
||||||
|
own data payloads.
|
||||||
|
|
||||||
|
BPF programs run in a restricted virtual machine. It has almost no
|
||||||
|
access to kernel functions, and while conditional branches are
|
||||||
|
allowed, they can only jump forwards, to guarantee that there are no
|
||||||
|
infinite loops.
|
||||||
|
|
||||||
|
The virtual machine
|
||||||
|
|
||||||
|
The BPF VM is an accumulator machine. Its main register, called
|
||||||
|
register A, is an implicit source and destination in all arithmetic
|
||||||
|
and logic operations. The machine also has 16 scratch registers for
|
||||||
|
temporary storage, and an indirection register (register X) for
|
||||||
|
indirect memory access. All registers are 32 bits wide.
|
||||||
|
|
||||||
|
Each run of a BPF program is given one packet, which is placed in the
|
||||||
|
VM's read-only "main memory". LoadAbsolute and LoadIndirect
|
||||||
|
instructions can fetch up to 32 bits at a time into register A for
|
||||||
|
examination.
|
||||||
|
|
||||||
|
The goal of a BPF program is to produce and return a verdict (uint32),
|
||||||
|
which tells the kernel what to do with the packet. In the context of
|
||||||
|
packet filtering, the returned value is the number of bytes of the
|
||||||
|
packet to forward to userspace, or 0 to ignore the packet. Other
|
||||||
|
contexts like seccomp define their own return values.
|
||||||
|
|
||||||
|
In order to simplify programs, attempts to read past the end of the
|
||||||
|
packet terminate the program execution with a verdict of 0 (ignore
|
||||||
|
packet). This means that the vast majority of BPF programs don't need
|
||||||
|
to do any explicit bounds checking.
|
||||||
|
|
||||||
|
In addition to the bytes of the packet, some BPF programs have access
|
||||||
|
to extensions, which are essentially calls to kernel utility
|
||||||
|
functions. Currently, the only extensions supported by this package
|
||||||
|
are the Linux packet filter extensions.
|
||||||
|
|
||||||
|
Examples
|
||||||
|
|
||||||
|
This packet filter selects all ARP packets.
|
||||||
|
|
||||||
|
bpf.Assemble([]bpf.Instruction{
|
||||||
|
// Load "EtherType" field from the ethernet header.
|
||||||
|
bpf.LoadAbsolute{Off: 12, Size: 2},
|
||||||
|
// Skip over the next instruction if EtherType is not ARP.
|
||||||
|
bpf.JumpIf{Cond: bpf.JumpNotEqual, Val: 0x0806, SkipTrue: 1},
|
||||||
|
// Verdict is "send up to 4k of the packet to userspace."
|
||||||
|
bpf.RetConstant{Val: 4096},
|
||||||
|
// Verdict is "ignore packet."
|
||||||
|
bpf.RetConstant{Val: 0},
|
||||||
|
})
|
||||||
|
|
||||||
|
This packet filter captures a random 1% sample of traffic.
|
||||||
|
|
||||||
|
bpf.Assemble([]bpf.Instruction{
|
||||||
|
// Get a 32-bit random number from the Linux kernel.
|
||||||
|
bpf.LoadExtension{Num: bpf.ExtRand},
|
||||||
|
// 1% dice roll?
|
||||||
|
bpf.JumpIf{Cond: bpf.JumpLessThan, Val: 2^32/100, SkipFalse: 1},
|
||||||
|
// Capture.
|
||||||
|
bpf.RetConstant{Val: 4096},
|
||||||
|
// Ignore.
|
||||||
|
bpf.RetConstant{Val: 0},
|
||||||
|
})
|
||||||
|
|
||||||
|
*/
|
||||||
|
package bpf // import "golang.org/x/net/bpf"
|
|
@ -0,0 +1,704 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
import "fmt"
|
||||||
|
|
||||||
|
// An Instruction is one instruction executed by the BPF virtual
|
||||||
|
// machine.
|
||||||
|
type Instruction interface {
|
||||||
|
// Assemble assembles the Instruction into a RawInstruction.
|
||||||
|
Assemble() (RawInstruction, error)
|
||||||
|
}
|
||||||
|
|
||||||
|
// A RawInstruction is a raw BPF virtual machine instruction.
|
||||||
|
type RawInstruction struct {
|
||||||
|
// Operation to execute.
|
||||||
|
Op uint16
|
||||||
|
// For conditional jump instructions, the number of instructions
|
||||||
|
// to skip if the condition is true/false.
|
||||||
|
Jt uint8
|
||||||
|
Jf uint8
|
||||||
|
// Constant parameter. The meaning depends on the Op.
|
||||||
|
K uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (ri RawInstruction) Assemble() (RawInstruction, error) { return ri, nil }
|
||||||
|
|
||||||
|
// Disassemble parses ri into an Instruction and returns it. If ri is
|
||||||
|
// not recognized by this package, ri itself is returned.
|
||||||
|
func (ri RawInstruction) Disassemble() Instruction {
|
||||||
|
switch ri.Op & opMaskCls {
|
||||||
|
case opClsLoadA, opClsLoadX:
|
||||||
|
reg := Register(ri.Op & opMaskLoadDest)
|
||||||
|
sz := 0
|
||||||
|
switch ri.Op & opMaskLoadWidth {
|
||||||
|
case opLoadWidth4:
|
||||||
|
sz = 4
|
||||||
|
case opLoadWidth2:
|
||||||
|
sz = 2
|
||||||
|
case opLoadWidth1:
|
||||||
|
sz = 1
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
switch ri.Op & opMaskLoadMode {
|
||||||
|
case opAddrModeImmediate:
|
||||||
|
if sz != 4 {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
return LoadConstant{Dst: reg, Val: ri.K}
|
||||||
|
case opAddrModeScratch:
|
||||||
|
if sz != 4 || ri.K > 15 {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
return LoadScratch{Dst: reg, N: int(ri.K)}
|
||||||
|
case opAddrModeAbsolute:
|
||||||
|
if ri.K > extOffset+0xffffffff {
|
||||||
|
return LoadExtension{Num: Extension(-extOffset + ri.K)}
|
||||||
|
}
|
||||||
|
return LoadAbsolute{Size: sz, Off: ri.K}
|
||||||
|
case opAddrModeIndirect:
|
||||||
|
return LoadIndirect{Size: sz, Off: ri.K}
|
||||||
|
case opAddrModePacketLen:
|
||||||
|
if sz != 4 {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
return LoadExtension{Num: ExtLen}
|
||||||
|
case opAddrModeMemShift:
|
||||||
|
return LoadMemShift{Off: ri.K}
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
|
||||||
|
case opClsStoreA:
|
||||||
|
if ri.Op != opClsStoreA || ri.K > 15 {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
return StoreScratch{Src: RegA, N: int(ri.K)}
|
||||||
|
|
||||||
|
case opClsStoreX:
|
||||||
|
if ri.Op != opClsStoreX || ri.K > 15 {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
return StoreScratch{Src: RegX, N: int(ri.K)}
|
||||||
|
|
||||||
|
case opClsALU:
|
||||||
|
switch op := ALUOp(ri.Op & opMaskOperator); op {
|
||||||
|
case ALUOpAdd, ALUOpSub, ALUOpMul, ALUOpDiv, ALUOpOr, ALUOpAnd, ALUOpShiftLeft, ALUOpShiftRight, ALUOpMod, ALUOpXor:
|
||||||
|
if ri.Op&opMaskOperandSrc != 0 {
|
||||||
|
return ALUOpX{Op: op}
|
||||||
|
}
|
||||||
|
return ALUOpConstant{Op: op, Val: ri.K}
|
||||||
|
case aluOpNeg:
|
||||||
|
return NegateA{}
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
|
||||||
|
case opClsJump:
|
||||||
|
if ri.Op&opMaskJumpConst != opClsJump {
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
switch ri.Op & opMaskJumpCond {
|
||||||
|
case opJumpAlways:
|
||||||
|
return Jump{Skip: ri.K}
|
||||||
|
case opJumpEqual:
|
||||||
|
if ri.Jt == 0 {
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpNotEqual,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jf,
|
||||||
|
SkipFalse: 0,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpEqual,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jt,
|
||||||
|
SkipFalse: ri.Jf,
|
||||||
|
}
|
||||||
|
case opJumpGT:
|
||||||
|
if ri.Jt == 0 {
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpLessOrEqual,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jf,
|
||||||
|
SkipFalse: 0,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpGreaterThan,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jt,
|
||||||
|
SkipFalse: ri.Jf,
|
||||||
|
}
|
||||||
|
case opJumpGE:
|
||||||
|
if ri.Jt == 0 {
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpLessThan,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jf,
|
||||||
|
SkipFalse: 0,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpGreaterOrEqual,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jt,
|
||||||
|
SkipFalse: ri.Jf,
|
||||||
|
}
|
||||||
|
case opJumpSet:
|
||||||
|
return JumpIf{
|
||||||
|
Cond: JumpBitsSet,
|
||||||
|
Val: ri.K,
|
||||||
|
SkipTrue: ri.Jt,
|
||||||
|
SkipFalse: ri.Jf,
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
|
||||||
|
case opClsReturn:
|
||||||
|
switch ri.Op {
|
||||||
|
case opClsReturn | opRetSrcA:
|
||||||
|
return RetA{}
|
||||||
|
case opClsReturn | opRetSrcConstant:
|
||||||
|
return RetConstant{Val: ri.K}
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
|
||||||
|
case opClsMisc:
|
||||||
|
switch ri.Op {
|
||||||
|
case opClsMisc | opMiscTAX:
|
||||||
|
return TAX{}
|
||||||
|
case opClsMisc | opMiscTXA:
|
||||||
|
return TXA{}
|
||||||
|
default:
|
||||||
|
return ri
|
||||||
|
}
|
||||||
|
|
||||||
|
default:
|
||||||
|
panic("unreachable") // switch is exhaustive on the bit pattern
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadConstant loads Val into register Dst.
|
||||||
|
type LoadConstant struct {
|
||||||
|
Dst Register
|
||||||
|
Val uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadConstant) Assemble() (RawInstruction, error) {
|
||||||
|
return assembleLoad(a.Dst, 4, opAddrModeImmediate, a.Val)
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadConstant) String() string {
|
||||||
|
switch a.Dst {
|
||||||
|
case RegA:
|
||||||
|
return fmt.Sprintf("ld #%d", a.Val)
|
||||||
|
case RegX:
|
||||||
|
return fmt.Sprintf("ldx #%d", a.Val)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadScratch loads scratch[N] into register Dst.
|
||||||
|
type LoadScratch struct {
|
||||||
|
Dst Register
|
||||||
|
N int // 0-15
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadScratch) Assemble() (RawInstruction, error) {
|
||||||
|
if a.N < 0 || a.N > 15 {
|
||||||
|
return RawInstruction{}, fmt.Errorf("invalid scratch slot %d", a.N)
|
||||||
|
}
|
||||||
|
return assembleLoad(a.Dst, 4, opAddrModeScratch, uint32(a.N))
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadScratch) String() string {
|
||||||
|
switch a.Dst {
|
||||||
|
case RegA:
|
||||||
|
return fmt.Sprintf("ld M[%d]", a.N)
|
||||||
|
case RegX:
|
||||||
|
return fmt.Sprintf("ldx M[%d]", a.N)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadAbsolute loads packet[Off:Off+Size] as an integer value into
|
||||||
|
// register A.
|
||||||
|
type LoadAbsolute struct {
|
||||||
|
Off uint32
|
||||||
|
Size int // 1, 2 or 4
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadAbsolute) Assemble() (RawInstruction, error) {
|
||||||
|
return assembleLoad(RegA, a.Size, opAddrModeAbsolute, a.Off)
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadAbsolute) String() string {
|
||||||
|
switch a.Size {
|
||||||
|
case 1: // byte
|
||||||
|
return fmt.Sprintf("ldb [%d]", a.Off)
|
||||||
|
case 2: // half word
|
||||||
|
return fmt.Sprintf("ldh [%d]", a.Off)
|
||||||
|
case 4: // word
|
||||||
|
if a.Off > extOffset+0xffffffff {
|
||||||
|
return LoadExtension{Num: Extension(a.Off + 0x1000)}.String()
|
||||||
|
}
|
||||||
|
return fmt.Sprintf("ld [%d]", a.Off)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadIndirect loads packet[X+Off:X+Off+Size] as an integer value
|
||||||
|
// into register A.
|
||||||
|
type LoadIndirect struct {
|
||||||
|
Off uint32
|
||||||
|
Size int // 1, 2 or 4
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadIndirect) Assemble() (RawInstruction, error) {
|
||||||
|
return assembleLoad(RegA, a.Size, opAddrModeIndirect, a.Off)
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadIndirect) String() string {
|
||||||
|
switch a.Size {
|
||||||
|
case 1: // byte
|
||||||
|
return fmt.Sprintf("ldb [x + %d]", a.Off)
|
||||||
|
case 2: // half word
|
||||||
|
return fmt.Sprintf("ldh [x + %d]", a.Off)
|
||||||
|
case 4: // word
|
||||||
|
return fmt.Sprintf("ld [x + %d]", a.Off)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadMemShift multiplies the first 4 bits of the byte at packet[Off]
|
||||||
|
// by 4 and stores the result in register X.
|
||||||
|
//
|
||||||
|
// This instruction is mainly useful to load into X the length of an
|
||||||
|
// IPv4 packet header in a single instruction, rather than have to do
|
||||||
|
// the arithmetic on the header's first byte by hand.
|
||||||
|
type LoadMemShift struct {
|
||||||
|
Off uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadMemShift) Assemble() (RawInstruction, error) {
|
||||||
|
return assembleLoad(RegX, 1, opAddrModeMemShift, a.Off)
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadMemShift) String() string {
|
||||||
|
return fmt.Sprintf("ldx 4*([%d]&0xf)", a.Off)
|
||||||
|
}
|
||||||
|
|
||||||
|
// LoadExtension invokes a linux-specific extension and stores the
|
||||||
|
// result in register A.
|
||||||
|
type LoadExtension struct {
|
||||||
|
Num Extension
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a LoadExtension) Assemble() (RawInstruction, error) {
|
||||||
|
if a.Num == ExtLen {
|
||||||
|
return assembleLoad(RegA, 4, opAddrModePacketLen, 0)
|
||||||
|
}
|
||||||
|
return assembleLoad(RegA, 4, opAddrModeAbsolute, uint32(extOffset+a.Num))
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a LoadExtension) String() string {
|
||||||
|
switch a.Num {
|
||||||
|
case ExtLen:
|
||||||
|
return "ld #len"
|
||||||
|
case ExtProto:
|
||||||
|
return "ld #proto"
|
||||||
|
case ExtType:
|
||||||
|
return "ld #type"
|
||||||
|
case ExtPayloadOffset:
|
||||||
|
return "ld #poff"
|
||||||
|
case ExtInterfaceIndex:
|
||||||
|
return "ld #ifidx"
|
||||||
|
case ExtNetlinkAttr:
|
||||||
|
return "ld #nla"
|
||||||
|
case ExtNetlinkAttrNested:
|
||||||
|
return "ld #nlan"
|
||||||
|
case ExtMark:
|
||||||
|
return "ld #mark"
|
||||||
|
case ExtQueue:
|
||||||
|
return "ld #queue"
|
||||||
|
case ExtLinkLayerType:
|
||||||
|
return "ld #hatype"
|
||||||
|
case ExtRXHash:
|
||||||
|
return "ld #rxhash"
|
||||||
|
case ExtCPUID:
|
||||||
|
return "ld #cpu"
|
||||||
|
case ExtVLANTag:
|
||||||
|
return "ld #vlan_tci"
|
||||||
|
case ExtVLANTagPresent:
|
||||||
|
return "ld #vlan_avail"
|
||||||
|
case ExtVLANProto:
|
||||||
|
return "ld #vlan_tpid"
|
||||||
|
case ExtRand:
|
||||||
|
return "ld #rand"
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// StoreScratch stores register Src into scratch[N].
|
||||||
|
type StoreScratch struct {
|
||||||
|
Src Register
|
||||||
|
N int // 0-15
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a StoreScratch) Assemble() (RawInstruction, error) {
|
||||||
|
if a.N < 0 || a.N > 15 {
|
||||||
|
return RawInstruction{}, fmt.Errorf("invalid scratch slot %d", a.N)
|
||||||
|
}
|
||||||
|
var op uint16
|
||||||
|
switch a.Src {
|
||||||
|
case RegA:
|
||||||
|
op = opClsStoreA
|
||||||
|
case RegX:
|
||||||
|
op = opClsStoreX
|
||||||
|
default:
|
||||||
|
return RawInstruction{}, fmt.Errorf("invalid source register %v", a.Src)
|
||||||
|
}
|
||||||
|
|
||||||
|
return RawInstruction{
|
||||||
|
Op: op,
|
||||||
|
K: uint32(a.N),
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a StoreScratch) String() string {
|
||||||
|
switch a.Src {
|
||||||
|
case RegA:
|
||||||
|
return fmt.Sprintf("st M[%d]", a.N)
|
||||||
|
case RegX:
|
||||||
|
return fmt.Sprintf("stx M[%d]", a.N)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ALUOpConstant executes A = A <Op> Val.
|
||||||
|
type ALUOpConstant struct {
|
||||||
|
Op ALUOp
|
||||||
|
Val uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a ALUOpConstant) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsALU | opALUSrcConstant | uint16(a.Op),
|
||||||
|
K: a.Val,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a ALUOpConstant) String() string {
|
||||||
|
switch a.Op {
|
||||||
|
case ALUOpAdd:
|
||||||
|
return fmt.Sprintf("add #%d", a.Val)
|
||||||
|
case ALUOpSub:
|
||||||
|
return fmt.Sprintf("sub #%d", a.Val)
|
||||||
|
case ALUOpMul:
|
||||||
|
return fmt.Sprintf("mul #%d", a.Val)
|
||||||
|
case ALUOpDiv:
|
||||||
|
return fmt.Sprintf("div #%d", a.Val)
|
||||||
|
case ALUOpMod:
|
||||||
|
return fmt.Sprintf("mod #%d", a.Val)
|
||||||
|
case ALUOpAnd:
|
||||||
|
return fmt.Sprintf("and #%d", a.Val)
|
||||||
|
case ALUOpOr:
|
||||||
|
return fmt.Sprintf("or #%d", a.Val)
|
||||||
|
case ALUOpXor:
|
||||||
|
return fmt.Sprintf("xor #%d", a.Val)
|
||||||
|
case ALUOpShiftLeft:
|
||||||
|
return fmt.Sprintf("lsh #%d", a.Val)
|
||||||
|
case ALUOpShiftRight:
|
||||||
|
return fmt.Sprintf("rsh #%d", a.Val)
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ALUOpX executes A = A <Op> X
|
||||||
|
type ALUOpX struct {
|
||||||
|
Op ALUOp
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a ALUOpX) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsALU | opALUSrcX | uint16(a.Op),
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a ALUOpX) String() string {
|
||||||
|
switch a.Op {
|
||||||
|
case ALUOpAdd:
|
||||||
|
return "add x"
|
||||||
|
case ALUOpSub:
|
||||||
|
return "sub x"
|
||||||
|
case ALUOpMul:
|
||||||
|
return "mul x"
|
||||||
|
case ALUOpDiv:
|
||||||
|
return "div x"
|
||||||
|
case ALUOpMod:
|
||||||
|
return "mod x"
|
||||||
|
case ALUOpAnd:
|
||||||
|
return "and x"
|
||||||
|
case ALUOpOr:
|
||||||
|
return "or x"
|
||||||
|
case ALUOpXor:
|
||||||
|
return "xor x"
|
||||||
|
case ALUOpShiftLeft:
|
||||||
|
return "lsh x"
|
||||||
|
case ALUOpShiftRight:
|
||||||
|
return "rsh x"
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// NegateA executes A = -A.
|
||||||
|
type NegateA struct{}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a NegateA) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsALU | uint16(aluOpNeg),
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a NegateA) String() string {
|
||||||
|
return fmt.Sprintf("neg")
|
||||||
|
}
|
||||||
|
|
||||||
|
// Jump skips the following Skip instructions in the program.
|
||||||
|
type Jump struct {
|
||||||
|
Skip uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a Jump) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsJump | opJumpAlways,
|
||||||
|
K: a.Skip,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a Jump) String() string {
|
||||||
|
return fmt.Sprintf("ja %d", a.Skip)
|
||||||
|
}
|
||||||
|
|
||||||
|
// JumpIf skips the following Skip instructions in the program if A
|
||||||
|
// <Cond> Val is true.
|
||||||
|
type JumpIf struct {
|
||||||
|
Cond JumpTest
|
||||||
|
Val uint32
|
||||||
|
SkipTrue uint8
|
||||||
|
SkipFalse uint8
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a JumpIf) Assemble() (RawInstruction, error) {
|
||||||
|
var (
|
||||||
|
cond uint16
|
||||||
|
flip bool
|
||||||
|
)
|
||||||
|
switch a.Cond {
|
||||||
|
case JumpEqual:
|
||||||
|
cond = opJumpEqual
|
||||||
|
case JumpNotEqual:
|
||||||
|
cond, flip = opJumpEqual, true
|
||||||
|
case JumpGreaterThan:
|
||||||
|
cond = opJumpGT
|
||||||
|
case JumpLessThan:
|
||||||
|
cond, flip = opJumpGE, true
|
||||||
|
case JumpGreaterOrEqual:
|
||||||
|
cond = opJumpGE
|
||||||
|
case JumpLessOrEqual:
|
||||||
|
cond, flip = opJumpGT, true
|
||||||
|
case JumpBitsSet:
|
||||||
|
cond = opJumpSet
|
||||||
|
case JumpBitsNotSet:
|
||||||
|
cond, flip = opJumpSet, true
|
||||||
|
default:
|
||||||
|
return RawInstruction{}, fmt.Errorf("unknown JumpTest %v", a.Cond)
|
||||||
|
}
|
||||||
|
jt, jf := a.SkipTrue, a.SkipFalse
|
||||||
|
if flip {
|
||||||
|
jt, jf = jf, jt
|
||||||
|
}
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsJump | cond,
|
||||||
|
Jt: jt,
|
||||||
|
Jf: jf,
|
||||||
|
K: a.Val,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a JumpIf) String() string {
|
||||||
|
switch a.Cond {
|
||||||
|
// K == A
|
||||||
|
case JumpEqual:
|
||||||
|
return conditionalJump(a, "jeq", "jneq")
|
||||||
|
// K != A
|
||||||
|
case JumpNotEqual:
|
||||||
|
return fmt.Sprintf("jneq #%d,%d", a.Val, a.SkipTrue)
|
||||||
|
// K > A
|
||||||
|
case JumpGreaterThan:
|
||||||
|
return conditionalJump(a, "jgt", "jle")
|
||||||
|
// K < A
|
||||||
|
case JumpLessThan:
|
||||||
|
return fmt.Sprintf("jlt #%d,%d", a.Val, a.SkipTrue)
|
||||||
|
// K >= A
|
||||||
|
case JumpGreaterOrEqual:
|
||||||
|
return conditionalJump(a, "jge", "jlt")
|
||||||
|
// K <= A
|
||||||
|
case JumpLessOrEqual:
|
||||||
|
return fmt.Sprintf("jle #%d,%d", a.Val, a.SkipTrue)
|
||||||
|
// K & A != 0
|
||||||
|
case JumpBitsSet:
|
||||||
|
if a.SkipFalse > 0 {
|
||||||
|
return fmt.Sprintf("jset #%d,%d,%d", a.Val, a.SkipTrue, a.SkipFalse)
|
||||||
|
}
|
||||||
|
return fmt.Sprintf("jset #%d,%d", a.Val, a.SkipTrue)
|
||||||
|
// K & A == 0, there is no assembler instruction for JumpBitNotSet, use JumpBitSet and invert skips
|
||||||
|
case JumpBitsNotSet:
|
||||||
|
return JumpIf{Cond: JumpBitsSet, SkipTrue: a.SkipFalse, SkipFalse: a.SkipTrue, Val: a.Val}.String()
|
||||||
|
default:
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func conditionalJump(inst JumpIf, positiveJump, negativeJump string) string {
|
||||||
|
if inst.SkipTrue > 0 {
|
||||||
|
if inst.SkipFalse > 0 {
|
||||||
|
return fmt.Sprintf("%s #%d,%d,%d", positiveJump, inst.Val, inst.SkipTrue, inst.SkipFalse)
|
||||||
|
}
|
||||||
|
return fmt.Sprintf("%s #%d,%d", positiveJump, inst.Val, inst.SkipTrue)
|
||||||
|
}
|
||||||
|
return fmt.Sprintf("%s #%d,%d", negativeJump, inst.Val, inst.SkipFalse)
|
||||||
|
}
|
||||||
|
|
||||||
|
// RetA exits the BPF program, returning the value of register A.
|
||||||
|
type RetA struct{}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a RetA) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsReturn | opRetSrcA,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a RetA) String() string {
|
||||||
|
return fmt.Sprintf("ret a")
|
||||||
|
}
|
||||||
|
|
||||||
|
// RetConstant exits the BPF program, returning a constant value.
|
||||||
|
type RetConstant struct {
|
||||||
|
Val uint32
|
||||||
|
}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a RetConstant) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsReturn | opRetSrcConstant,
|
||||||
|
K: a.Val,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a RetConstant) String() string {
|
||||||
|
return fmt.Sprintf("ret #%d", a.Val)
|
||||||
|
}
|
||||||
|
|
||||||
|
// TXA copies the value of register X to register A.
|
||||||
|
type TXA struct{}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a TXA) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsMisc | opMiscTXA,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a TXA) String() string {
|
||||||
|
return fmt.Sprintf("txa")
|
||||||
|
}
|
||||||
|
|
||||||
|
// TAX copies the value of register A to register X.
|
||||||
|
type TAX struct{}
|
||||||
|
|
||||||
|
// Assemble implements the Instruction Assemble method.
|
||||||
|
func (a TAX) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{
|
||||||
|
Op: opClsMisc | opMiscTAX,
|
||||||
|
}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns the the instruction in assembler notation.
|
||||||
|
func (a TAX) String() string {
|
||||||
|
return fmt.Sprintf("tax")
|
||||||
|
}
|
||||||
|
|
||||||
|
func assembleLoad(dst Register, loadSize int, mode uint16, k uint32) (RawInstruction, error) {
|
||||||
|
var (
|
||||||
|
cls uint16
|
||||||
|
sz uint16
|
||||||
|
)
|
||||||
|
switch dst {
|
||||||
|
case RegA:
|
||||||
|
cls = opClsLoadA
|
||||||
|
case RegX:
|
||||||
|
cls = opClsLoadX
|
||||||
|
default:
|
||||||
|
return RawInstruction{}, fmt.Errorf("invalid target register %v", dst)
|
||||||
|
}
|
||||||
|
switch loadSize {
|
||||||
|
case 1:
|
||||||
|
sz = opLoadWidth1
|
||||||
|
case 2:
|
||||||
|
sz = opLoadWidth2
|
||||||
|
case 4:
|
||||||
|
sz = opLoadWidth4
|
||||||
|
default:
|
||||||
|
return RawInstruction{}, fmt.Errorf("invalid load byte length %d", sz)
|
||||||
|
}
|
||||||
|
return RawInstruction{
|
||||||
|
Op: cls | sz | mode,
|
||||||
|
K: k,
|
||||||
|
}, nil
|
||||||
|
}
|
|
@ -0,0 +1,525 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"io/ioutil"
|
||||||
|
"reflect"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
// This is a direct translation of the program in
|
||||||
|
// testdata/all_instructions.txt.
|
||||||
|
var allInstructions = []Instruction{
|
||||||
|
LoadConstant{Dst: RegA, Val: 42},
|
||||||
|
LoadConstant{Dst: RegX, Val: 42},
|
||||||
|
|
||||||
|
LoadScratch{Dst: RegA, N: 3},
|
||||||
|
LoadScratch{Dst: RegX, N: 3},
|
||||||
|
|
||||||
|
LoadAbsolute{Off: 42, Size: 1},
|
||||||
|
LoadAbsolute{Off: 42, Size: 2},
|
||||||
|
LoadAbsolute{Off: 42, Size: 4},
|
||||||
|
|
||||||
|
LoadIndirect{Off: 42, Size: 1},
|
||||||
|
LoadIndirect{Off: 42, Size: 2},
|
||||||
|
LoadIndirect{Off: 42, Size: 4},
|
||||||
|
|
||||||
|
LoadMemShift{Off: 42},
|
||||||
|
|
||||||
|
LoadExtension{Num: ExtLen},
|
||||||
|
LoadExtension{Num: ExtProto},
|
||||||
|
LoadExtension{Num: ExtType},
|
||||||
|
LoadExtension{Num: ExtRand},
|
||||||
|
|
||||||
|
StoreScratch{Src: RegA, N: 3},
|
||||||
|
StoreScratch{Src: RegX, N: 3},
|
||||||
|
|
||||||
|
ALUOpConstant{Op: ALUOpAdd, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpSub, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpMul, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpDiv, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpOr, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpAnd, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpShiftLeft, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpShiftRight, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpMod, Val: 42},
|
||||||
|
ALUOpConstant{Op: ALUOpXor, Val: 42},
|
||||||
|
|
||||||
|
ALUOpX{Op: ALUOpAdd},
|
||||||
|
ALUOpX{Op: ALUOpSub},
|
||||||
|
ALUOpX{Op: ALUOpMul},
|
||||||
|
ALUOpX{Op: ALUOpDiv},
|
||||||
|
ALUOpX{Op: ALUOpOr},
|
||||||
|
ALUOpX{Op: ALUOpAnd},
|
||||||
|
ALUOpX{Op: ALUOpShiftLeft},
|
||||||
|
ALUOpX{Op: ALUOpShiftRight},
|
||||||
|
ALUOpX{Op: ALUOpMod},
|
||||||
|
ALUOpX{Op: ALUOpXor},
|
||||||
|
|
||||||
|
NegateA{},
|
||||||
|
|
||||||
|
Jump{Skip: 10},
|
||||||
|
JumpIf{Cond: JumpEqual, Val: 42, SkipTrue: 8, SkipFalse: 9},
|
||||||
|
JumpIf{Cond: JumpNotEqual, Val: 42, SkipTrue: 8},
|
||||||
|
JumpIf{Cond: JumpLessThan, Val: 42, SkipTrue: 7},
|
||||||
|
JumpIf{Cond: JumpLessOrEqual, Val: 42, SkipTrue: 6},
|
||||||
|
JumpIf{Cond: JumpGreaterThan, Val: 42, SkipTrue: 4, SkipFalse: 5},
|
||||||
|
JumpIf{Cond: JumpGreaterOrEqual, Val: 42, SkipTrue: 3, SkipFalse: 4},
|
||||||
|
JumpIf{Cond: JumpBitsSet, Val: 42, SkipTrue: 2, SkipFalse: 3},
|
||||||
|
|
||||||
|
TAX{},
|
||||||
|
TXA{},
|
||||||
|
|
||||||
|
RetA{},
|
||||||
|
RetConstant{Val: 42},
|
||||||
|
}
|
||||||
|
var allInstructionsExpected = "testdata/all_instructions.bpf"
|
||||||
|
|
||||||
|
// Check that we produce the same output as the canonical bpf_asm
|
||||||
|
// linux kernel tool.
|
||||||
|
func TestInterop(t *testing.T) {
|
||||||
|
out, err := Assemble(allInstructions)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("assembly of allInstructions program failed: %s", err)
|
||||||
|
}
|
||||||
|
t.Logf("Assembled program is %d instructions long", len(out))
|
||||||
|
|
||||||
|
bs, err := ioutil.ReadFile(allInstructionsExpected)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("reading %s: %s", allInstructionsExpected, err)
|
||||||
|
}
|
||||||
|
// First statement is the number of statements, last statement is
|
||||||
|
// empty. We just ignore both and rely on slice length.
|
||||||
|
stmts := strings.Split(string(bs), ",")
|
||||||
|
if len(stmts)-2 != len(out) {
|
||||||
|
t.Fatalf("test program lengths don't match: %s has %d, Go implementation has %d", allInstructionsExpected, len(stmts)-2, len(allInstructions))
|
||||||
|
}
|
||||||
|
|
||||||
|
for i, stmt := range stmts[1 : len(stmts)-2] {
|
||||||
|
nums := strings.Split(stmt, " ")
|
||||||
|
if len(nums) != 4 {
|
||||||
|
t.Fatalf("malformed instruction %d in %s: %s", i+1, allInstructionsExpected, stmt)
|
||||||
|
}
|
||||||
|
|
||||||
|
actual := out[i]
|
||||||
|
|
||||||
|
op, err := strconv.ParseUint(nums[0], 10, 16)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("malformed opcode %s in instruction %d of %s", nums[0], i+1, allInstructionsExpected)
|
||||||
|
}
|
||||||
|
if actual.Op != uint16(op) {
|
||||||
|
t.Errorf("opcode mismatch on instruction %d (%#v): got 0x%02x, want 0x%02x", i+1, allInstructions[i], actual.Op, op)
|
||||||
|
}
|
||||||
|
|
||||||
|
jt, err := strconv.ParseUint(nums[1], 10, 8)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("malformed jt offset %s in instruction %d of %s", nums[1], i+1, allInstructionsExpected)
|
||||||
|
}
|
||||||
|
if actual.Jt != uint8(jt) {
|
||||||
|
t.Errorf("jt mismatch on instruction %d (%#v): got %d, want %d", i+1, allInstructions[i], actual.Jt, jt)
|
||||||
|
}
|
||||||
|
|
||||||
|
jf, err := strconv.ParseUint(nums[2], 10, 8)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("malformed jf offset %s in instruction %d of %s", nums[2], i+1, allInstructionsExpected)
|
||||||
|
}
|
||||||
|
if actual.Jf != uint8(jf) {
|
||||||
|
t.Errorf("jf mismatch on instruction %d (%#v): got %d, want %d", i+1, allInstructions[i], actual.Jf, jf)
|
||||||
|
}
|
||||||
|
|
||||||
|
k, err := strconv.ParseUint(nums[3], 10, 32)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("malformed constant %s in instruction %d of %s", nums[3], i+1, allInstructionsExpected)
|
||||||
|
}
|
||||||
|
if actual.K != uint32(k) {
|
||||||
|
t.Errorf("constant mismatch on instruction %d (%#v): got %d, want %d", i+1, allInstructions[i], actual.K, k)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check that assembly and disassembly match each other.
|
||||||
|
func TestAsmDisasm(t *testing.T) {
|
||||||
|
prog1, err := Assemble(allInstructions)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("assembly of allInstructions program failed: %s", err)
|
||||||
|
}
|
||||||
|
t.Logf("Assembled program is %d instructions long", len(prog1))
|
||||||
|
|
||||||
|
got, allDecoded := Disassemble(prog1)
|
||||||
|
if !allDecoded {
|
||||||
|
t.Errorf("Disassemble(Assemble(allInstructions)) produced unrecognized instructions:")
|
||||||
|
for i, inst := range got {
|
||||||
|
if r, ok := inst.(RawInstruction); ok {
|
||||||
|
t.Logf(" insn %d, %#v --> %#v", i+1, allInstructions[i], r)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(allInstructions) != len(got) {
|
||||||
|
t.Fatalf("disassembly changed program size: %d insns before, %d insns after", len(allInstructions), len(got))
|
||||||
|
}
|
||||||
|
if !reflect.DeepEqual(allInstructions, got) {
|
||||||
|
t.Errorf("program mutated by disassembly:")
|
||||||
|
for i := range got {
|
||||||
|
if !reflect.DeepEqual(allInstructions[i], got[i]) {
|
||||||
|
t.Logf(" insn %d, s: %#v, p1: %#v, got: %#v", i+1, allInstructions[i], prog1[i], got[i])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type InvalidInstruction struct{}
|
||||||
|
|
||||||
|
func (a InvalidInstruction) Assemble() (RawInstruction, error) {
|
||||||
|
return RawInstruction{}, fmt.Errorf("Invalid Instruction")
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a InvalidInstruction) String() string {
|
||||||
|
return fmt.Sprintf("unknown instruction: %#v", a)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestString(t *testing.T) {
|
||||||
|
testCases := []struct {
|
||||||
|
instruction Instruction
|
||||||
|
assembler string
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
instruction: LoadConstant{Dst: RegA, Val: 42},
|
||||||
|
assembler: "ld #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadConstant{Dst: RegX, Val: 42},
|
||||||
|
assembler: "ldx #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadConstant{Dst: 0xffff, Val: 42},
|
||||||
|
assembler: "unknown instruction: bpf.LoadConstant{Dst:0xffff, Val:0x2a}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadScratch{Dst: RegA, N: 3},
|
||||||
|
assembler: "ld M[3]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadScratch{Dst: RegX, N: 3},
|
||||||
|
assembler: "ldx M[3]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadScratch{Dst: 0xffff, N: 3},
|
||||||
|
assembler: "unknown instruction: bpf.LoadScratch{Dst:0xffff, N:3}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadAbsolute{Off: 42, Size: 1},
|
||||||
|
assembler: "ldb [42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadAbsolute{Off: 42, Size: 2},
|
||||||
|
assembler: "ldh [42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadAbsolute{Off: 42, Size: 4},
|
||||||
|
assembler: "ld [42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadAbsolute{Off: 42, Size: -1},
|
||||||
|
assembler: "unknown instruction: bpf.LoadAbsolute{Off:0x2a, Size:-1}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadIndirect{Off: 42, Size: 1},
|
||||||
|
assembler: "ldb [x + 42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadIndirect{Off: 42, Size: 2},
|
||||||
|
assembler: "ldh [x + 42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadIndirect{Off: 42, Size: 4},
|
||||||
|
assembler: "ld [x + 42]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadIndirect{Off: 42, Size: -1},
|
||||||
|
assembler: "unknown instruction: bpf.LoadIndirect{Off:0x2a, Size:-1}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadMemShift{Off: 42},
|
||||||
|
assembler: "ldx 4*([42]&0xf)",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtLen},
|
||||||
|
assembler: "ld #len",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtProto},
|
||||||
|
assembler: "ld #proto",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtType},
|
||||||
|
assembler: "ld #type",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtPayloadOffset},
|
||||||
|
assembler: "ld #poff",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtInterfaceIndex},
|
||||||
|
assembler: "ld #ifidx",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtNetlinkAttr},
|
||||||
|
assembler: "ld #nla",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtNetlinkAttrNested},
|
||||||
|
assembler: "ld #nlan",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtMark},
|
||||||
|
assembler: "ld #mark",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtQueue},
|
||||||
|
assembler: "ld #queue",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtLinkLayerType},
|
||||||
|
assembler: "ld #hatype",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtRXHash},
|
||||||
|
assembler: "ld #rxhash",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtCPUID},
|
||||||
|
assembler: "ld #cpu",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtVLANTag},
|
||||||
|
assembler: "ld #vlan_tci",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtVLANTagPresent},
|
||||||
|
assembler: "ld #vlan_avail",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtVLANProto},
|
||||||
|
assembler: "ld #vlan_tpid",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: ExtRand},
|
||||||
|
assembler: "ld #rand",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadAbsolute{Off: 0xfffff038, Size: 4},
|
||||||
|
assembler: "ld #rand",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: LoadExtension{Num: 0xfff},
|
||||||
|
assembler: "unknown instruction: bpf.LoadExtension{Num:4095}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: StoreScratch{Src: RegA, N: 3},
|
||||||
|
assembler: "st M[3]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: StoreScratch{Src: RegX, N: 3},
|
||||||
|
assembler: "stx M[3]",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: StoreScratch{Src: 0xffff, N: 3},
|
||||||
|
assembler: "unknown instruction: bpf.StoreScratch{Src:0xffff, N:3}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpAdd, Val: 42},
|
||||||
|
assembler: "add #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpSub, Val: 42},
|
||||||
|
assembler: "sub #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpMul, Val: 42},
|
||||||
|
assembler: "mul #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpDiv, Val: 42},
|
||||||
|
assembler: "div #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpOr, Val: 42},
|
||||||
|
assembler: "or #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpAnd, Val: 42},
|
||||||
|
assembler: "and #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpShiftLeft, Val: 42},
|
||||||
|
assembler: "lsh #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpShiftRight, Val: 42},
|
||||||
|
assembler: "rsh #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpMod, Val: 42},
|
||||||
|
assembler: "mod #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: ALUOpXor, Val: 42},
|
||||||
|
assembler: "xor #42",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpConstant{Op: 0xffff, Val: 42},
|
||||||
|
assembler: "unknown instruction: bpf.ALUOpConstant{Op:0xffff, Val:0x2a}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpAdd},
|
||||||
|
assembler: "add x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpSub},
|
||||||
|
assembler: "sub x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpMul},
|
||||||
|
assembler: "mul x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpDiv},
|
||||||
|
assembler: "div x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpOr},
|
||||||
|
assembler: "or x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpAnd},
|
||||||
|
assembler: "and x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpShiftLeft},
|
||||||
|
assembler: "lsh x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpShiftRight},
|
||||||
|
assembler: "rsh x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpMod},
|
||||||
|
assembler: "mod x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: ALUOpXor},
|
||||||
|
assembler: "xor x",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: ALUOpX{Op: 0xffff},
|
||||||
|
assembler: "unknown instruction: bpf.ALUOpX{Op:0xffff}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: NegateA{},
|
||||||
|
assembler: "neg",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: Jump{Skip: 10},
|
||||||
|
assembler: "ja 10",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpEqual, Val: 42, SkipTrue: 8, SkipFalse: 9},
|
||||||
|
assembler: "jeq #42,8,9",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpEqual, Val: 42, SkipTrue: 8},
|
||||||
|
assembler: "jeq #42,8",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpEqual, Val: 42, SkipFalse: 8},
|
||||||
|
assembler: "jneq #42,8",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpNotEqual, Val: 42, SkipTrue: 8},
|
||||||
|
assembler: "jneq #42,8",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpLessThan, Val: 42, SkipTrue: 7},
|
||||||
|
assembler: "jlt #42,7",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpLessOrEqual, Val: 42, SkipTrue: 6},
|
||||||
|
assembler: "jle #42,6",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpGreaterThan, Val: 42, SkipTrue: 4, SkipFalse: 5},
|
||||||
|
assembler: "jgt #42,4,5",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpGreaterThan, Val: 42, SkipTrue: 4},
|
||||||
|
assembler: "jgt #42,4",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpGreaterOrEqual, Val: 42, SkipTrue: 3, SkipFalse: 4},
|
||||||
|
assembler: "jge #42,3,4",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpGreaterOrEqual, Val: 42, SkipTrue: 3},
|
||||||
|
assembler: "jge #42,3",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpBitsSet, Val: 42, SkipTrue: 2, SkipFalse: 3},
|
||||||
|
assembler: "jset #42,2,3",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpBitsSet, Val: 42, SkipTrue: 2},
|
||||||
|
assembler: "jset #42,2",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpBitsNotSet, Val: 42, SkipTrue: 2, SkipFalse: 3},
|
||||||
|
assembler: "jset #42,3,2",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: JumpBitsNotSet, Val: 42, SkipTrue: 2},
|
||||||
|
assembler: "jset #42,0,2",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: JumpIf{Cond: 0xffff, Val: 42, SkipTrue: 1, SkipFalse: 2},
|
||||||
|
assembler: "unknown instruction: bpf.JumpIf{Cond:0xffff, Val:0x2a, SkipTrue:0x1, SkipFalse:0x2}",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: TAX{},
|
||||||
|
assembler: "tax",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: TXA{},
|
||||||
|
assembler: "txa",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: RetA{},
|
||||||
|
assembler: "ret a",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
instruction: RetConstant{Val: 42},
|
||||||
|
assembler: "ret #42",
|
||||||
|
},
|
||||||
|
// Invalid instruction
|
||||||
|
{
|
||||||
|
instruction: InvalidInstruction{},
|
||||||
|
assembler: "unknown instruction: bpf.InvalidInstruction{}",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, testCase := range testCases {
|
||||||
|
if input, ok := testCase.instruction.(fmt.Stringer); ok {
|
||||||
|
got := input.String()
|
||||||
|
if got != testCase.assembler {
|
||||||
|
t.Errorf("String did not return expected assembler notation, expected: %s, got: %s", testCase.assembler, got)
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
t.Errorf("Instruction %#v is not a fmt.Stringer", testCase.instruction)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,10 @@
|
||||||
|
// Copyright 2017 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
// A Setter is a type which can attach a compiled BPF filter to itself.
|
||||||
|
type Setter interface {
|
||||||
|
SetBPF(filter []RawInstruction) error
|
||||||
|
}
|
|
@ -0,0 +1 @@
|
||||||
|
50,0 0 0 42,1 0 0 42,96 0 0 3,97 0 0 3,48 0 0 42,40 0 0 42,32 0 0 42,80 0 0 42,72 0 0 42,64 0 0 42,177 0 0 42,128 0 0 0,32 0 0 4294963200,32 0 0 4294963204,32 0 0 4294963256,2 0 0 3,3 0 0 3,4 0 0 42,20 0 0 42,36 0 0 42,52 0 0 42,68 0 0 42,84 0 0 42,100 0 0 42,116 0 0 42,148 0 0 42,164 0 0 42,12 0 0 0,28 0 0 0,44 0 0 0,60 0 0 0,76 0 0 0,92 0 0 0,108 0 0 0,124 0 0 0,156 0 0 0,172 0 0 0,132 0 0 0,5 0 0 10,21 8 9 42,21 0 8 42,53 0 7 42,37 0 6 42,37 4 5 42,53 3 4 42,69 2 3 42,7 0 0 0,135 0 0 0,22 0 0 0,6 0 0 0,
|
|
@ -0,0 +1,79 @@
|
||||||
|
# This filter is compiled to all_instructions.bpf by the `bpf_asm`
|
||||||
|
# tool, which can be found in the linux kernel source tree under
|
||||||
|
# tools/net.
|
||||||
|
|
||||||
|
# Load immediate
|
||||||
|
ld #42
|
||||||
|
ldx #42
|
||||||
|
|
||||||
|
# Load scratch
|
||||||
|
ld M[3]
|
||||||
|
ldx M[3]
|
||||||
|
|
||||||
|
# Load absolute
|
||||||
|
ldb [42]
|
||||||
|
ldh [42]
|
||||||
|
ld [42]
|
||||||
|
|
||||||
|
# Load indirect
|
||||||
|
ldb [x + 42]
|
||||||
|
ldh [x + 42]
|
||||||
|
ld [x + 42]
|
||||||
|
|
||||||
|
# Load IPv4 header length
|
||||||
|
ldx 4*([42]&0xf)
|
||||||
|
|
||||||
|
# Run extension function
|
||||||
|
ld #len
|
||||||
|
ld #proto
|
||||||
|
ld #type
|
||||||
|
ld #rand
|
||||||
|
|
||||||
|
# Store scratch
|
||||||
|
st M[3]
|
||||||
|
stx M[3]
|
||||||
|
|
||||||
|
# A <op> constant
|
||||||
|
add #42
|
||||||
|
sub #42
|
||||||
|
mul #42
|
||||||
|
div #42
|
||||||
|
or #42
|
||||||
|
and #42
|
||||||
|
lsh #42
|
||||||
|
rsh #42
|
||||||
|
mod #42
|
||||||
|
xor #42
|
||||||
|
|
||||||
|
# A <op> X
|
||||||
|
add x
|
||||||
|
sub x
|
||||||
|
mul x
|
||||||
|
div x
|
||||||
|
or x
|
||||||
|
and x
|
||||||
|
lsh x
|
||||||
|
rsh x
|
||||||
|
mod x
|
||||||
|
xor x
|
||||||
|
|
||||||
|
# !A
|
||||||
|
neg
|
||||||
|
|
||||||
|
# Jumps
|
||||||
|
ja end
|
||||||
|
jeq #42,prev,end
|
||||||
|
jne #42,end
|
||||||
|
jlt #42,end
|
||||||
|
jle #42,end
|
||||||
|
jgt #42,prev,end
|
||||||
|
jge #42,prev,end
|
||||||
|
jset #42,prev,end
|
||||||
|
|
||||||
|
# Register transfers
|
||||||
|
tax
|
||||||
|
txa
|
||||||
|
|
||||||
|
# Returns
|
||||||
|
prev: ret a
|
||||||
|
end: ret #42
|
|
@ -0,0 +1,140 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
import (
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
)
|
||||||
|
|
||||||
|
// A VM is an emulated BPF virtual machine.
|
||||||
|
type VM struct {
|
||||||
|
filter []Instruction
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewVM returns a new VM using the input BPF program.
|
||||||
|
func NewVM(filter []Instruction) (*VM, error) {
|
||||||
|
if len(filter) == 0 {
|
||||||
|
return nil, errors.New("one or more Instructions must be specified")
|
||||||
|
}
|
||||||
|
|
||||||
|
for i, ins := range filter {
|
||||||
|
check := len(filter) - (i + 1)
|
||||||
|
switch ins := ins.(type) {
|
||||||
|
// Check for out-of-bounds jumps in instructions
|
||||||
|
case Jump:
|
||||||
|
if check <= int(ins.Skip) {
|
||||||
|
return nil, fmt.Errorf("cannot jump %d instructions; jumping past program bounds", ins.Skip)
|
||||||
|
}
|
||||||
|
case JumpIf:
|
||||||
|
if check <= int(ins.SkipTrue) {
|
||||||
|
return nil, fmt.Errorf("cannot jump %d instructions in true case; jumping past program bounds", ins.SkipTrue)
|
||||||
|
}
|
||||||
|
if check <= int(ins.SkipFalse) {
|
||||||
|
return nil, fmt.Errorf("cannot jump %d instructions in false case; jumping past program bounds", ins.SkipFalse)
|
||||||
|
}
|
||||||
|
// Check for division or modulus by zero
|
||||||
|
case ALUOpConstant:
|
||||||
|
if ins.Val != 0 {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
switch ins.Op {
|
||||||
|
case ALUOpDiv, ALUOpMod:
|
||||||
|
return nil, errors.New("cannot divide by zero using ALUOpConstant")
|
||||||
|
}
|
||||||
|
// Check for unknown extensions
|
||||||
|
case LoadExtension:
|
||||||
|
switch ins.Num {
|
||||||
|
case ExtLen:
|
||||||
|
default:
|
||||||
|
return nil, fmt.Errorf("extension %d not implemented", ins.Num)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Make sure last instruction is a return instruction
|
||||||
|
switch filter[len(filter)-1].(type) {
|
||||||
|
case RetA, RetConstant:
|
||||||
|
default:
|
||||||
|
return nil, errors.New("BPF program must end with RetA or RetConstant")
|
||||||
|
}
|
||||||
|
|
||||||
|
// Though our VM works using disassembled instructions, we
|
||||||
|
// attempt to assemble the input filter anyway to ensure it is compatible
|
||||||
|
// with an operating system VM.
|
||||||
|
_, err := Assemble(filter)
|
||||||
|
|
||||||
|
return &VM{
|
||||||
|
filter: filter,
|
||||||
|
}, err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Run runs the VM's BPF program against the input bytes.
|
||||||
|
// Run returns the number of bytes accepted by the BPF program, and any errors
|
||||||
|
// which occurred while processing the program.
|
||||||
|
func (v *VM) Run(in []byte) (int, error) {
|
||||||
|
var (
|
||||||
|
// Registers of the virtual machine
|
||||||
|
regA uint32
|
||||||
|
regX uint32
|
||||||
|
regScratch [16]uint32
|
||||||
|
|
||||||
|
// OK is true if the program should continue processing the next
|
||||||
|
// instruction, or false if not, causing the loop to break
|
||||||
|
ok = true
|
||||||
|
)
|
||||||
|
|
||||||
|
// TODO(mdlayher): implement:
|
||||||
|
// - NegateA:
|
||||||
|
// - would require a change from uint32 registers to int32
|
||||||
|
// registers
|
||||||
|
|
||||||
|
// TODO(mdlayher): add interop tests that check signedness of ALU
|
||||||
|
// operations against kernel implementation, and make sure Go
|
||||||
|
// implementation matches behavior
|
||||||
|
|
||||||
|
for i := 0; i < len(v.filter) && ok; i++ {
|
||||||
|
ins := v.filter[i]
|
||||||
|
|
||||||
|
switch ins := ins.(type) {
|
||||||
|
case ALUOpConstant:
|
||||||
|
regA = aluOpConstant(ins, regA)
|
||||||
|
case ALUOpX:
|
||||||
|
regA, ok = aluOpX(ins, regA, regX)
|
||||||
|
case Jump:
|
||||||
|
i += int(ins.Skip)
|
||||||
|
case JumpIf:
|
||||||
|
jump := jumpIf(ins, regA)
|
||||||
|
i += jump
|
||||||
|
case LoadAbsolute:
|
||||||
|
regA, ok = loadAbsolute(ins, in)
|
||||||
|
case LoadConstant:
|
||||||
|
regA, regX = loadConstant(ins, regA, regX)
|
||||||
|
case LoadExtension:
|
||||||
|
regA = loadExtension(ins, in)
|
||||||
|
case LoadIndirect:
|
||||||
|
regA, ok = loadIndirect(ins, in, regX)
|
||||||
|
case LoadMemShift:
|
||||||
|
regX, ok = loadMemShift(ins, in)
|
||||||
|
case LoadScratch:
|
||||||
|
regA, regX = loadScratch(ins, regScratch, regA, regX)
|
||||||
|
case RetA:
|
||||||
|
return int(regA), nil
|
||||||
|
case RetConstant:
|
||||||
|
return int(ins.Val), nil
|
||||||
|
case StoreScratch:
|
||||||
|
regScratch = storeScratch(ins, regScratch, regA, regX)
|
||||||
|
case TAX:
|
||||||
|
regX = regA
|
||||||
|
case TXA:
|
||||||
|
regA = regX
|
||||||
|
default:
|
||||||
|
return 0, fmt.Errorf("unknown Instruction at index %d: %T", i, ins)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return 0, nil
|
||||||
|
}
|
|
@ -0,0 +1,512 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMALUOpAdd(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpAdd,
|
||||||
|
Val: 3,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
8, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 3, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpSub(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.TAX{},
|
||||||
|
bpf.ALUOpX{
|
||||||
|
Op: bpf.ALUOpSub,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpMul(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpMul,
|
||||||
|
Val: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
6, 2, 3, 4,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpDiv(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpDiv,
|
||||||
|
Val: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
20, 2, 3, 4,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpDivByZeroALUOpConstant(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpDiv,
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "cannot divide by zero using ALUOpConstant" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpDivByZeroALUOpX(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
// Load byte 0 into X
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.TAX{},
|
||||||
|
// Load byte 1 into A
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 9,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Attempt to perform 1/0
|
||||||
|
bpf.ALUOpX{
|
||||||
|
Op: bpf.ALUOpDiv,
|
||||||
|
},
|
||||||
|
// Return 4 bytes if program does not terminate
|
||||||
|
bpf.LoadConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 3, 4,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpOr(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpOr,
|
||||||
|
Val: 0x01,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x00, 0x10, 0x03, 0x04,
|
||||||
|
0x05, 0x06, 0x07, 0x08,
|
||||||
|
0x09, 0xff,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 9, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpAnd(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpAnd,
|
||||||
|
Val: 0x0019,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xaa, 0x09,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpShiftLeft(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpShiftLeft,
|
||||||
|
Val: 0x01,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 0x02,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x01, 0xaa,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpShiftRight(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpShiftRight,
|
||||||
|
Val: 0x01,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 0x04,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x08, 0xff, 0xff,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpMod(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpMod,
|
||||||
|
Val: 20,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
30, 0, 0,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpModByZeroALUOpConstant(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpMod,
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "cannot divide by zero using ALUOpConstant" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpModByZeroALUOpX(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
// Load byte 0 into X
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.TAX{},
|
||||||
|
// Load byte 1 into A
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 9,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Attempt to perform 1%0
|
||||||
|
bpf.ALUOpX{
|
||||||
|
Op: bpf.ALUOpMod,
|
||||||
|
},
|
||||||
|
// Return 4 bytes if program does not terminate
|
||||||
|
bpf.LoadConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 3, 4,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpXor(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpXor,
|
||||||
|
Val: 0x0a,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 0x01,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x0b, 0x00, 0x00, 0x00,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMALUOpUnknown(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: bpf.ALUOpAdd,
|
||||||
|
Val: 1,
|
||||||
|
},
|
||||||
|
// Verify that an unknown operation is a no-op
|
||||||
|
bpf.ALUOpConstant{
|
||||||
|
Op: 100,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 0x02,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,192 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net"
|
||||||
|
"runtime"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
"golang.org/x/net/ipv4"
|
||||||
|
)
|
||||||
|
|
||||||
|
// A virtualMachine is a BPF virtual machine which can process an
|
||||||
|
// input packet against a BPF program and render a verdict.
|
||||||
|
type virtualMachine interface {
|
||||||
|
Run(in []byte) (int, error)
|
||||||
|
}
|
||||||
|
|
||||||
|
// canUseOSVM indicates if the OS BPF VM is available on this platform.
|
||||||
|
func canUseOSVM() bool {
|
||||||
|
// OS BPF VM can only be used on platforms where x/net/ipv4 supports
|
||||||
|
// attaching a BPF program to a socket.
|
||||||
|
switch runtime.GOOS {
|
||||||
|
case "linux":
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
// All BPF tests against both the Go VM and OS VM are assumed to
|
||||||
|
// be used with a UDP socket. As a result, the entire contents
|
||||||
|
// of a UDP datagram is sent through the BPF program, but only
|
||||||
|
// the body after the UDP header will ever be returned in output.
|
||||||
|
|
||||||
|
// testVM sets up a Go BPF VM, and if available, a native OS BPF VM
|
||||||
|
// for integration testing.
|
||||||
|
func testVM(t *testing.T, filter []bpf.Instruction) (virtualMachine, func(), error) {
|
||||||
|
goVM, err := bpf.NewVM(filter)
|
||||||
|
if err != nil {
|
||||||
|
// Some tests expect an error, so this error must be returned
|
||||||
|
// instead of fatally exiting the test
|
||||||
|
return nil, nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
mvm := &multiVirtualMachine{
|
||||||
|
goVM: goVM,
|
||||||
|
|
||||||
|
t: t,
|
||||||
|
}
|
||||||
|
|
||||||
|
// If available, add the OS VM for tests which verify that both the Go
|
||||||
|
// VM and OS VM have exactly the same output for the same input program
|
||||||
|
// and packet.
|
||||||
|
done := func() {}
|
||||||
|
if canUseOSVM() {
|
||||||
|
osVM, osVMDone := testOSVM(t, filter)
|
||||||
|
done = func() { osVMDone() }
|
||||||
|
mvm.osVM = osVM
|
||||||
|
}
|
||||||
|
|
||||||
|
return mvm, done, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// udpHeaderLen is the length of a UDP header.
|
||||||
|
const udpHeaderLen = 8
|
||||||
|
|
||||||
|
// A multiVirtualMachine is a virtualMachine which can call out to both the Go VM
|
||||||
|
// and the native OS VM, if the OS VM is available.
|
||||||
|
type multiVirtualMachine struct {
|
||||||
|
goVM virtualMachine
|
||||||
|
osVM virtualMachine
|
||||||
|
|
||||||
|
t *testing.T
|
||||||
|
}
|
||||||
|
|
||||||
|
func (mvm *multiVirtualMachine) Run(in []byte) (int, error) {
|
||||||
|
if len(in) < udpHeaderLen {
|
||||||
|
mvm.t.Fatalf("input must be at least length of UDP header (%d), got: %d",
|
||||||
|
udpHeaderLen, len(in))
|
||||||
|
}
|
||||||
|
|
||||||
|
// All tests have a UDP header as part of input, because the OS VM
|
||||||
|
// packets always will. For the Go VM, this output is trimmed before
|
||||||
|
// being sent back to tests.
|
||||||
|
goOut, goErr := mvm.goVM.Run(in)
|
||||||
|
if goOut >= udpHeaderLen {
|
||||||
|
goOut -= udpHeaderLen
|
||||||
|
}
|
||||||
|
|
||||||
|
// If Go output is larger than the size of the packet, packet filtering
|
||||||
|
// interop tests must trim the output bytes to the length of the packet.
|
||||||
|
// The BPF VM should not do this on its own, as other uses of it do
|
||||||
|
// not trim the output byte count.
|
||||||
|
trim := len(in) - udpHeaderLen
|
||||||
|
if goOut > trim {
|
||||||
|
goOut = trim
|
||||||
|
}
|
||||||
|
|
||||||
|
// When the OS VM is not available, process using the Go VM alone
|
||||||
|
if mvm.osVM == nil {
|
||||||
|
return goOut, goErr
|
||||||
|
}
|
||||||
|
|
||||||
|
// The OS VM will apply its own UDP header, so remove the pseudo header
|
||||||
|
// that the Go VM needs.
|
||||||
|
osOut, err := mvm.osVM.Run(in[udpHeaderLen:])
|
||||||
|
if err != nil {
|
||||||
|
mvm.t.Fatalf("error while running OS VM: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Verify both VMs return same number of bytes
|
||||||
|
var mismatch bool
|
||||||
|
if goOut != osOut {
|
||||||
|
mismatch = true
|
||||||
|
mvm.t.Logf("output byte count does not match:\n- go: %v\n- os: %v", goOut, osOut)
|
||||||
|
}
|
||||||
|
|
||||||
|
if mismatch {
|
||||||
|
mvm.t.Fatal("Go BPF and OS BPF packet outputs do not match")
|
||||||
|
}
|
||||||
|
|
||||||
|
return goOut, goErr
|
||||||
|
}
|
||||||
|
|
||||||
|
// An osVirtualMachine is a virtualMachine which uses the OS's BPF VM for
|
||||||
|
// processing BPF programs.
|
||||||
|
type osVirtualMachine struct {
|
||||||
|
l net.PacketConn
|
||||||
|
s net.Conn
|
||||||
|
}
|
||||||
|
|
||||||
|
// testOSVM creates a virtualMachine which uses the OS's BPF VM by injecting
|
||||||
|
// packets into a UDP listener with a BPF program attached to it.
|
||||||
|
func testOSVM(t *testing.T, filter []bpf.Instruction) (virtualMachine, func()) {
|
||||||
|
l, err := net.ListenPacket("udp4", "127.0.0.1:0")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to open OS VM UDP listener: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
prog, err := bpf.Assemble(filter)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to compile BPF program: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
p := ipv4.NewPacketConn(l)
|
||||||
|
if err = p.SetBPF(prog); err != nil {
|
||||||
|
t.Fatalf("failed to attach BPF program to listener: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
s, err := net.Dial("udp4", l.LocalAddr().String())
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to dial connection to listener: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
done := func() {
|
||||||
|
_ = s.Close()
|
||||||
|
_ = l.Close()
|
||||||
|
}
|
||||||
|
|
||||||
|
return &osVirtualMachine{
|
||||||
|
l: l,
|
||||||
|
s: s,
|
||||||
|
}, done
|
||||||
|
}
|
||||||
|
|
||||||
|
// Run sends the input bytes into the OS's BPF VM and returns its verdict.
|
||||||
|
func (vm *osVirtualMachine) Run(in []byte) (int, error) {
|
||||||
|
go func() {
|
||||||
|
_, _ = vm.s.Write(in)
|
||||||
|
}()
|
||||||
|
|
||||||
|
vm.l.SetDeadline(time.Now().Add(50 * time.Millisecond))
|
||||||
|
|
||||||
|
var b [512]byte
|
||||||
|
n, _, err := vm.l.ReadFrom(b[:])
|
||||||
|
if err != nil {
|
||||||
|
// A timeout indicates that BPF filtered out the packet, and thus,
|
||||||
|
// no input should be returned.
|
||||||
|
if nerr, ok := err.(net.Error); ok && nerr.Timeout() {
|
||||||
|
return n, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
return n, err
|
||||||
|
}
|
||||||
|
|
||||||
|
return n, nil
|
||||||
|
}
|
|
@ -0,0 +1,49 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMLoadExtensionNotImplemented(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadExtension{
|
||||||
|
Num: 100,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "extension 100 not implemented" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadExtensionExtLen(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadExtension{
|
||||||
|
Num: bpf.ExtLen,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,174 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf
|
||||||
|
|
||||||
|
import (
|
||||||
|
"encoding/binary"
|
||||||
|
"fmt"
|
||||||
|
)
|
||||||
|
|
||||||
|
func aluOpConstant(ins ALUOpConstant, regA uint32) uint32 {
|
||||||
|
return aluOpCommon(ins.Op, regA, ins.Val)
|
||||||
|
}
|
||||||
|
|
||||||
|
func aluOpX(ins ALUOpX, regA uint32, regX uint32) (uint32, bool) {
|
||||||
|
// Guard against division or modulus by zero by terminating
|
||||||
|
// the program, as the OS BPF VM does
|
||||||
|
if regX == 0 {
|
||||||
|
switch ins.Op {
|
||||||
|
case ALUOpDiv, ALUOpMod:
|
||||||
|
return 0, false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return aluOpCommon(ins.Op, regA, regX), true
|
||||||
|
}
|
||||||
|
|
||||||
|
func aluOpCommon(op ALUOp, regA uint32, value uint32) uint32 {
|
||||||
|
switch op {
|
||||||
|
case ALUOpAdd:
|
||||||
|
return regA + value
|
||||||
|
case ALUOpSub:
|
||||||
|
return regA - value
|
||||||
|
case ALUOpMul:
|
||||||
|
return regA * value
|
||||||
|
case ALUOpDiv:
|
||||||
|
// Division by zero not permitted by NewVM and aluOpX checks
|
||||||
|
return regA / value
|
||||||
|
case ALUOpOr:
|
||||||
|
return regA | value
|
||||||
|
case ALUOpAnd:
|
||||||
|
return regA & value
|
||||||
|
case ALUOpShiftLeft:
|
||||||
|
return regA << value
|
||||||
|
case ALUOpShiftRight:
|
||||||
|
return regA >> value
|
||||||
|
case ALUOpMod:
|
||||||
|
// Modulus by zero not permitted by NewVM and aluOpX checks
|
||||||
|
return regA % value
|
||||||
|
case ALUOpXor:
|
||||||
|
return regA ^ value
|
||||||
|
default:
|
||||||
|
return regA
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func jumpIf(ins JumpIf, value uint32) int {
|
||||||
|
var ok bool
|
||||||
|
inV := uint32(ins.Val)
|
||||||
|
|
||||||
|
switch ins.Cond {
|
||||||
|
case JumpEqual:
|
||||||
|
ok = value == inV
|
||||||
|
case JumpNotEqual:
|
||||||
|
ok = value != inV
|
||||||
|
case JumpGreaterThan:
|
||||||
|
ok = value > inV
|
||||||
|
case JumpLessThan:
|
||||||
|
ok = value < inV
|
||||||
|
case JumpGreaterOrEqual:
|
||||||
|
ok = value >= inV
|
||||||
|
case JumpLessOrEqual:
|
||||||
|
ok = value <= inV
|
||||||
|
case JumpBitsSet:
|
||||||
|
ok = (value & inV) != 0
|
||||||
|
case JumpBitsNotSet:
|
||||||
|
ok = (value & inV) == 0
|
||||||
|
}
|
||||||
|
|
||||||
|
if ok {
|
||||||
|
return int(ins.SkipTrue)
|
||||||
|
}
|
||||||
|
|
||||||
|
return int(ins.SkipFalse)
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadAbsolute(ins LoadAbsolute, in []byte) (uint32, bool) {
|
||||||
|
offset := int(ins.Off)
|
||||||
|
size := int(ins.Size)
|
||||||
|
|
||||||
|
return loadCommon(in, offset, size)
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadConstant(ins LoadConstant, regA uint32, regX uint32) (uint32, uint32) {
|
||||||
|
switch ins.Dst {
|
||||||
|
case RegA:
|
||||||
|
regA = ins.Val
|
||||||
|
case RegX:
|
||||||
|
regX = ins.Val
|
||||||
|
}
|
||||||
|
|
||||||
|
return regA, regX
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadExtension(ins LoadExtension, in []byte) uint32 {
|
||||||
|
switch ins.Num {
|
||||||
|
case ExtLen:
|
||||||
|
return uint32(len(in))
|
||||||
|
default:
|
||||||
|
panic(fmt.Sprintf("unimplemented extension: %d", ins.Num))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadIndirect(ins LoadIndirect, in []byte, regX uint32) (uint32, bool) {
|
||||||
|
offset := int(ins.Off) + int(regX)
|
||||||
|
size := int(ins.Size)
|
||||||
|
|
||||||
|
return loadCommon(in, offset, size)
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadMemShift(ins LoadMemShift, in []byte) (uint32, bool) {
|
||||||
|
offset := int(ins.Off)
|
||||||
|
|
||||||
|
if !inBounds(len(in), offset, 0) {
|
||||||
|
return 0, false
|
||||||
|
}
|
||||||
|
|
||||||
|
// Mask off high 4 bits and multiply low 4 bits by 4
|
||||||
|
return uint32(in[offset]&0x0f) * 4, true
|
||||||
|
}
|
||||||
|
|
||||||
|
func inBounds(inLen int, offset int, size int) bool {
|
||||||
|
return offset+size <= inLen
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadCommon(in []byte, offset int, size int) (uint32, bool) {
|
||||||
|
if !inBounds(len(in), offset, size) {
|
||||||
|
return 0, false
|
||||||
|
}
|
||||||
|
|
||||||
|
switch size {
|
||||||
|
case 1:
|
||||||
|
return uint32(in[offset]), true
|
||||||
|
case 2:
|
||||||
|
return uint32(binary.BigEndian.Uint16(in[offset : offset+size])), true
|
||||||
|
case 4:
|
||||||
|
return uint32(binary.BigEndian.Uint32(in[offset : offset+size])), true
|
||||||
|
default:
|
||||||
|
panic(fmt.Sprintf("invalid load size: %d", size))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func loadScratch(ins LoadScratch, regScratch [16]uint32, regA uint32, regX uint32) (uint32, uint32) {
|
||||||
|
switch ins.Dst {
|
||||||
|
case RegA:
|
||||||
|
regA = regScratch[ins.N]
|
||||||
|
case RegX:
|
||||||
|
regX = regScratch[ins.N]
|
||||||
|
}
|
||||||
|
|
||||||
|
return regA, regX
|
||||||
|
}
|
||||||
|
|
||||||
|
func storeScratch(ins StoreScratch, regScratch [16]uint32, regA uint32, regX uint32) [16]uint32 {
|
||||||
|
switch ins.Src {
|
||||||
|
case RegA:
|
||||||
|
regScratch[ins.N] = regA
|
||||||
|
case RegX:
|
||||||
|
regScratch[ins.N] = regX
|
||||||
|
}
|
||||||
|
|
||||||
|
return regScratch
|
||||||
|
}
|
|
@ -0,0 +1,380 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMJumpOne(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.Jump{
|
||||||
|
Skip: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpOutOfProgram(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.Jump{
|
||||||
|
Skip: 1,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "cannot jump 1 instructions; jumping past program bounds" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfTrueOutOfProgram(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
SkipTrue: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "cannot jump 2 instructions in true case; jumping past program bounds" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfFalseOutOfProgram(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
SkipFalse: 3,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "cannot jump 3 instructions in false case; jumping past program bounds" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfEqual(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 1,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfNotEqual(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpNotEqual,
|
||||||
|
Val: 1,
|
||||||
|
SkipFalse: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfGreaterThan(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 4,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpGreaterThan,
|
||||||
|
Val: 0x00010202,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfLessThan(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 4,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpLessThan,
|
||||||
|
Val: 0xff010203,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfGreaterOrEqual(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 4,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpGreaterOrEqual,
|
||||||
|
Val: 0x00010203,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfLessOrEqual(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 4,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpLessOrEqual,
|
||||||
|
Val: 0xff010203,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 12,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 4, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfBitsSet(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpBitsSet,
|
||||||
|
Val: 0x1122,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 10,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x01, 0x02,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMJumpIfBitsNotSet(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpBitsNotSet,
|
||||||
|
Val: 0x1221,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 10,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x01, 0x02,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,246 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
"golang.org/x/net/ipv4"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMLoadAbsoluteOffsetOutOfBounds(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 100,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1, 2, 3,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadAbsoluteOffsetPlusSizeOutOfBounds(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadAbsoluteBadInstructionSize(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Size: 5,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid load byte length 0" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadConstantOK(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadConstant{
|
||||||
|
Dst: bpf.RegX,
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
bpf.TXA{},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadIndirectOutOfBounds(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadIndirect{
|
||||||
|
Off: 100,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadMemShiftOutOfBounds(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadMemShift{
|
||||||
|
Off: 100,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
const (
|
||||||
|
dhcp4Port = 53
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMLoadMemShiftLoadIndirectNoResult(t *testing.T) {
|
||||||
|
vm, in, done := testDHCPv4(t)
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
// Append mostly empty UDP header with incorrect DHCPv4 port
|
||||||
|
in = append(in, []byte{
|
||||||
|
0, 0,
|
||||||
|
0, dhcp4Port + 1,
|
||||||
|
0, 0,
|
||||||
|
0, 0,
|
||||||
|
}...)
|
||||||
|
|
||||||
|
out, err := vm.Run(in)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 0, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadMemShiftLoadIndirectOK(t *testing.T) {
|
||||||
|
vm, in, done := testDHCPv4(t)
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
// Append mostly empty UDP header with correct DHCPv4 port
|
||||||
|
in = append(in, []byte{
|
||||||
|
0, 0,
|
||||||
|
0, dhcp4Port,
|
||||||
|
0, 0,
|
||||||
|
0, 0,
|
||||||
|
}...)
|
||||||
|
|
||||||
|
out, err := vm.Run(in)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := len(in)-8, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func testDHCPv4(t *testing.T) (virtualMachine, []byte, func()) {
|
||||||
|
// DHCPv4 test data courtesy of David Anderson:
|
||||||
|
// https://github.com/google/netboot/blob/master/dhcp4/conn_linux.go#L59-L70
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
// Load IPv4 packet length
|
||||||
|
bpf.LoadMemShift{Off: 8},
|
||||||
|
// Get UDP dport
|
||||||
|
bpf.LoadIndirect{Off: 8 + 2, Size: 2},
|
||||||
|
// Correct dport?
|
||||||
|
bpf.JumpIf{Cond: bpf.JumpEqual, Val: dhcp4Port, SkipFalse: 1},
|
||||||
|
// Accept
|
||||||
|
bpf.RetConstant{Val: 1500},
|
||||||
|
// Ignore
|
||||||
|
bpf.RetConstant{Val: 0},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Minimal requirements to make a valid IPv4 header
|
||||||
|
h := &ipv4.Header{
|
||||||
|
Len: ipv4.HeaderLen,
|
||||||
|
Src: net.IPv4(192, 168, 1, 1),
|
||||||
|
Dst: net.IPv4(192, 168, 1, 2),
|
||||||
|
}
|
||||||
|
hb, err := h.Marshal()
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to marshal IPv4 header: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
hb = append([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
}, hb...)
|
||||||
|
|
||||||
|
return vm, hb, done
|
||||||
|
}
|
|
@ -0,0 +1,115 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMRetA(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
9,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMRetALargerThanInput(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 2,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 255,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMRetConstant(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 9,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 1, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMRetConstantLargerThanInput(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 16,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0, 1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,247 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestVMStoreScratchInvalidScratchRegisterTooSmall(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: -1,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid scratch slot -1" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMStoreScratchInvalidScratchRegisterTooLarge(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: 16,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid scratch slot 16" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMStoreScratchUnknownSourceRegister(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: 100,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid source register 100" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadScratchInvalidScratchRegisterTooSmall(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegX,
|
||||||
|
N: -1,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid scratch slot -1" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadScratchInvalidScratchRegisterTooLarge(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegX,
|
||||||
|
N: 16,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid scratch slot 16" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMLoadScratchUnknownDestinationRegister(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: 100,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if errStr(err) != "assembling instruction 1: invalid target register 100" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMStoreScratchLoadScratchOneValue(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
// Load byte 255
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Copy to X and store in scratch[0]
|
||||||
|
bpf.TAX{},
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegX,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
// Load byte 1
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 9,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Overwrite 1 with 255 from scratch[0]
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegA,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
// Return 255
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
255, 1, 2,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 3, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMStoreScratchLoadScratchMultipleValues(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
// Load byte 10
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 8,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Store in scratch[0]
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
// Load byte 20
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 9,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Store in scratch[1]
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: 1,
|
||||||
|
},
|
||||||
|
// Load byte 30
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 10,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Store in scratch[2]
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: 2,
|
||||||
|
},
|
||||||
|
// Load byte 1
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: 11,
|
||||||
|
Size: 1,
|
||||||
|
},
|
||||||
|
// Store in scratch[3]
|
||||||
|
bpf.StoreScratch{
|
||||||
|
Src: bpf.RegA,
|
||||||
|
N: 3,
|
||||||
|
},
|
||||||
|
// Load in byte 10 to X
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegX,
|
||||||
|
N: 0,
|
||||||
|
},
|
||||||
|
// Copy X -> A
|
||||||
|
bpf.TXA{},
|
||||||
|
// Verify value is 10
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 10,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
// Fail test if incorrect
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
// Load in byte 20 to A
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegA,
|
||||||
|
N: 1,
|
||||||
|
},
|
||||||
|
// Verify value is 20
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 20,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
// Fail test if incorrect
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
// Load in byte 30 to A
|
||||||
|
bpf.LoadScratch{
|
||||||
|
Dst: bpf.RegA,
|
||||||
|
N: 2,
|
||||||
|
},
|
||||||
|
// Verify value is 30
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: 30,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
// Fail test if incorrect
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
// Return first two bytes on success
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 10,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("failed to load BPF program: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
out, err := vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
10, 20, 30, 1,
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
if want, got := 2, out; want != got {
|
||||||
|
t.Fatalf("unexpected number of output bytes:\n- want: %d\n- got: %d",
|
||||||
|
want, got)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,144 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package bpf_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/bpf"
|
||||||
|
)
|
||||||
|
|
||||||
|
var _ bpf.Instruction = unknown{}
|
||||||
|
|
||||||
|
type unknown struct{}
|
||||||
|
|
||||||
|
func (unknown) Assemble() (bpf.RawInstruction, error) {
|
||||||
|
return bpf.RawInstruction{}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMUnknownInstruction(t *testing.T) {
|
||||||
|
vm, done, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadConstant{
|
||||||
|
Dst: bpf.RegA,
|
||||||
|
Val: 100,
|
||||||
|
},
|
||||||
|
// Should terminate the program with an error immediately
|
||||||
|
unknown{},
|
||||||
|
bpf.RetA{},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
defer done()
|
||||||
|
|
||||||
|
_, err = vm.Run([]byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x00, 0x00,
|
||||||
|
})
|
||||||
|
if errStr(err) != "unknown Instruction at index 1: bpf_test.unknown" {
|
||||||
|
t.Fatalf("unexpected error while running program: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMNoReturnInstruction(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{
|
||||||
|
bpf.LoadConstant{
|
||||||
|
Dst: bpf.RegA,
|
||||||
|
Val: 1,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if errStr(err) != "BPF program must end with RetA or RetConstant" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestVMNoInputInstructions(t *testing.T) {
|
||||||
|
_, _, err := testVM(t, []bpf.Instruction{})
|
||||||
|
if errStr(err) != "one or more Instructions must be specified" {
|
||||||
|
t.Fatalf("unexpected error: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ExampleNewVM demonstrates usage of a VM, using an Ethernet frame
|
||||||
|
// as input and checking its EtherType to determine if it should be accepted.
|
||||||
|
func ExampleNewVM() {
|
||||||
|
// Offset | Length | Comment
|
||||||
|
// -------------------------
|
||||||
|
// 00 | 06 | Ethernet destination MAC address
|
||||||
|
// 06 | 06 | Ethernet source MAC address
|
||||||
|
// 12 | 02 | Ethernet EtherType
|
||||||
|
const (
|
||||||
|
etOff = 12
|
||||||
|
etLen = 2
|
||||||
|
|
||||||
|
etARP = 0x0806
|
||||||
|
)
|
||||||
|
|
||||||
|
// Set up a VM to filter traffic based on if its EtherType
|
||||||
|
// matches the ARP EtherType.
|
||||||
|
vm, err := bpf.NewVM([]bpf.Instruction{
|
||||||
|
// Load EtherType value from Ethernet header
|
||||||
|
bpf.LoadAbsolute{
|
||||||
|
Off: etOff,
|
||||||
|
Size: etLen,
|
||||||
|
},
|
||||||
|
// If EtherType is equal to the ARP EtherType, jump to allow
|
||||||
|
// packet to be accepted
|
||||||
|
bpf.JumpIf{
|
||||||
|
Cond: bpf.JumpEqual,
|
||||||
|
Val: etARP,
|
||||||
|
SkipTrue: 1,
|
||||||
|
},
|
||||||
|
// EtherType does not match the ARP EtherType
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 0,
|
||||||
|
},
|
||||||
|
// EtherType matches the ARP EtherType, accept up to 1500
|
||||||
|
// bytes of packet
|
||||||
|
bpf.RetConstant{
|
||||||
|
Val: 1500,
|
||||||
|
},
|
||||||
|
})
|
||||||
|
if err != nil {
|
||||||
|
panic(fmt.Sprintf("failed to load BPF program: %v", err))
|
||||||
|
}
|
||||||
|
|
||||||
|
// Create an Ethernet frame with the ARP EtherType for testing
|
||||||
|
frame := []byte{
|
||||||
|
0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
|
||||||
|
0x00, 0x11, 0x22, 0x33, 0x44, 0x55,
|
||||||
|
0x08, 0x06,
|
||||||
|
// Payload omitted for brevity
|
||||||
|
}
|
||||||
|
|
||||||
|
// Run our VM's BPF program using the Ethernet frame as input
|
||||||
|
out, err := vm.Run(frame)
|
||||||
|
if err != nil {
|
||||||
|
panic(fmt.Sprintf("failed to accept Ethernet frame: %v", err))
|
||||||
|
}
|
||||||
|
|
||||||
|
// BPF VM can return a byte count greater than the number of input
|
||||||
|
// bytes, so trim the output to match the input byte length
|
||||||
|
if out > len(frame) {
|
||||||
|
out = len(frame)
|
||||||
|
}
|
||||||
|
|
||||||
|
fmt.Printf("out: %d bytes", out)
|
||||||
|
|
||||||
|
// Output:
|
||||||
|
// out: 14 bytes
|
||||||
|
}
|
||||||
|
|
||||||
|
// errStr returns the string representation of an error, or
|
||||||
|
// "<nil>" if it is nil.
|
||||||
|
func errStr(err error) string {
|
||||||
|
if err == nil {
|
||||||
|
return "<nil>"
|
||||||
|
}
|
||||||
|
|
||||||
|
return err.Error()
|
||||||
|
}
|
|
@ -0,0 +1 @@
|
||||||
|
issuerepo: golang/go
|
|
@ -0,0 +1,56 @@
|
||||||
|
// Copyright 2014 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// Package context defines the Context type, which carries deadlines,
|
||||||
|
// cancelation signals, and other request-scoped values across API boundaries
|
||||||
|
// and between processes.
|
||||||
|
// As of Go 1.7 this package is available in the standard library under the
|
||||||
|
// name context. https://golang.org/pkg/context.
|
||||||
|
//
|
||||||
|
// Incoming requests to a server should create a Context, and outgoing calls to
|
||||||
|
// servers should accept a Context. The chain of function calls between must
|
||||||
|
// propagate the Context, optionally replacing it with a modified copy created
|
||||||
|
// using WithDeadline, WithTimeout, WithCancel, or WithValue.
|
||||||
|
//
|
||||||
|
// Programs that use Contexts should follow these rules to keep interfaces
|
||||||
|
// consistent across packages and enable static analysis tools to check context
|
||||||
|
// propagation:
|
||||||
|
//
|
||||||
|
// Do not store Contexts inside a struct type; instead, pass a Context
|
||||||
|
// explicitly to each function that needs it. The Context should be the first
|
||||||
|
// parameter, typically named ctx:
|
||||||
|
//
|
||||||
|
// func DoSomething(ctx context.Context, arg Arg) error {
|
||||||
|
// // ... use ctx ...
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// Do not pass a nil Context, even if a function permits it. Pass context.TODO
|
||||||
|
// if you are unsure about which Context to use.
|
||||||
|
//
|
||||||
|
// Use context Values only for request-scoped data that transits processes and
|
||||||
|
// APIs, not for passing optional parameters to functions.
|
||||||
|
//
|
||||||
|
// The same Context may be passed to functions running in different goroutines;
|
||||||
|
// Contexts are safe for simultaneous use by multiple goroutines.
|
||||||
|
//
|
||||||
|
// See http://blog.golang.org/context for example code for a server that uses
|
||||||
|
// Contexts.
|
||||||
|
package context // import "golang.org/x/net/context"
|
||||||
|
|
||||||
|
// Background returns a non-nil, empty Context. It is never canceled, has no
|
||||||
|
// values, and has no deadline. It is typically used by the main function,
|
||||||
|
// initialization, and tests, and as the top-level Context for incoming
|
||||||
|
// requests.
|
||||||
|
func Background() Context {
|
||||||
|
return background
|
||||||
|
}
|
||||||
|
|
||||||
|
// TODO returns a non-nil, empty Context. Code should use context.TODO when
|
||||||
|
// it's unclear which Context to use or it is not yet available (because the
|
||||||
|
// surrounding function has not yet been extended to accept a Context
|
||||||
|
// parameter). TODO is recognized by static analysis tools that determine
|
||||||
|
// whether Contexts are propagated correctly in a program.
|
||||||
|
func TODO() Context {
|
||||||
|
return todo
|
||||||
|
}
|
|
@ -0,0 +1,583 @@
|
||||||
|
// Copyright 2014 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !go1.7
|
||||||
|
|
||||||
|
package context
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"math/rand"
|
||||||
|
"runtime"
|
||||||
|
"strings"
|
||||||
|
"sync"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
)
|
||||||
|
|
||||||
|
// otherContext is a Context that's not one of the types defined in context.go.
|
||||||
|
// This lets us test code paths that differ based on the underlying type of the
|
||||||
|
// Context.
|
||||||
|
type otherContext struct {
|
||||||
|
Context
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestBackground(t *testing.T) {
|
||||||
|
c := Background()
|
||||||
|
if c == nil {
|
||||||
|
t.Fatalf("Background returned nil")
|
||||||
|
}
|
||||||
|
select {
|
||||||
|
case x := <-c.Done():
|
||||||
|
t.Errorf("<-c.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
if got, want := fmt.Sprint(c), "context.Background"; got != want {
|
||||||
|
t.Errorf("Background().String() = %q want %q", got, want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestTODO(t *testing.T) {
|
||||||
|
c := TODO()
|
||||||
|
if c == nil {
|
||||||
|
t.Fatalf("TODO returned nil")
|
||||||
|
}
|
||||||
|
select {
|
||||||
|
case x := <-c.Done():
|
||||||
|
t.Errorf("<-c.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
if got, want := fmt.Sprint(c), "context.TODO"; got != want {
|
||||||
|
t.Errorf("TODO().String() = %q want %q", got, want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestWithCancel(t *testing.T) {
|
||||||
|
c1, cancel := WithCancel(Background())
|
||||||
|
|
||||||
|
if got, want := fmt.Sprint(c1), "context.Background.WithCancel"; got != want {
|
||||||
|
t.Errorf("c1.String() = %q want %q", got, want)
|
||||||
|
}
|
||||||
|
|
||||||
|
o := otherContext{c1}
|
||||||
|
c2, _ := WithCancel(o)
|
||||||
|
contexts := []Context{c1, o, c2}
|
||||||
|
|
||||||
|
for i, c := range contexts {
|
||||||
|
if d := c.Done(); d == nil {
|
||||||
|
t.Errorf("c[%d].Done() == %v want non-nil", i, d)
|
||||||
|
}
|
||||||
|
if e := c.Err(); e != nil {
|
||||||
|
t.Errorf("c[%d].Err() == %v want nil", i, e)
|
||||||
|
}
|
||||||
|
|
||||||
|
select {
|
||||||
|
case x := <-c.Done():
|
||||||
|
t.Errorf("<-c.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
cancel()
|
||||||
|
time.Sleep(100 * time.Millisecond) // let cancelation propagate
|
||||||
|
|
||||||
|
for i, c := range contexts {
|
||||||
|
select {
|
||||||
|
case <-c.Done():
|
||||||
|
default:
|
||||||
|
t.Errorf("<-c[%d].Done() blocked, but shouldn't have", i)
|
||||||
|
}
|
||||||
|
if e := c.Err(); e != Canceled {
|
||||||
|
t.Errorf("c[%d].Err() == %v want %v", i, e, Canceled)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestParentFinishesChild(t *testing.T) {
|
||||||
|
// Context tree:
|
||||||
|
// parent -> cancelChild
|
||||||
|
// parent -> valueChild -> timerChild
|
||||||
|
parent, cancel := WithCancel(Background())
|
||||||
|
cancelChild, stop := WithCancel(parent)
|
||||||
|
defer stop()
|
||||||
|
valueChild := WithValue(parent, "key", "value")
|
||||||
|
timerChild, stop := WithTimeout(valueChild, 10000*time.Hour)
|
||||||
|
defer stop()
|
||||||
|
|
||||||
|
select {
|
||||||
|
case x := <-parent.Done():
|
||||||
|
t.Errorf("<-parent.Done() == %v want nothing (it should block)", x)
|
||||||
|
case x := <-cancelChild.Done():
|
||||||
|
t.Errorf("<-cancelChild.Done() == %v want nothing (it should block)", x)
|
||||||
|
case x := <-timerChild.Done():
|
||||||
|
t.Errorf("<-timerChild.Done() == %v want nothing (it should block)", x)
|
||||||
|
case x := <-valueChild.Done():
|
||||||
|
t.Errorf("<-valueChild.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
|
||||||
|
// The parent's children should contain the two cancelable children.
|
||||||
|
pc := parent.(*cancelCtx)
|
||||||
|
cc := cancelChild.(*cancelCtx)
|
||||||
|
tc := timerChild.(*timerCtx)
|
||||||
|
pc.mu.Lock()
|
||||||
|
if len(pc.children) != 2 || !pc.children[cc] || !pc.children[tc] {
|
||||||
|
t.Errorf("bad linkage: pc.children = %v, want %v and %v",
|
||||||
|
pc.children, cc, tc)
|
||||||
|
}
|
||||||
|
pc.mu.Unlock()
|
||||||
|
|
||||||
|
if p, ok := parentCancelCtx(cc.Context); !ok || p != pc {
|
||||||
|
t.Errorf("bad linkage: parentCancelCtx(cancelChild.Context) = %v, %v want %v, true", p, ok, pc)
|
||||||
|
}
|
||||||
|
if p, ok := parentCancelCtx(tc.Context); !ok || p != pc {
|
||||||
|
t.Errorf("bad linkage: parentCancelCtx(timerChild.Context) = %v, %v want %v, true", p, ok, pc)
|
||||||
|
}
|
||||||
|
|
||||||
|
cancel()
|
||||||
|
|
||||||
|
pc.mu.Lock()
|
||||||
|
if len(pc.children) != 0 {
|
||||||
|
t.Errorf("pc.cancel didn't clear pc.children = %v", pc.children)
|
||||||
|
}
|
||||||
|
pc.mu.Unlock()
|
||||||
|
|
||||||
|
// parent and children should all be finished.
|
||||||
|
check := func(ctx Context, name string) {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
default:
|
||||||
|
t.Errorf("<-%s.Done() blocked, but shouldn't have", name)
|
||||||
|
}
|
||||||
|
if e := ctx.Err(); e != Canceled {
|
||||||
|
t.Errorf("%s.Err() == %v want %v", name, e, Canceled)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
check(parent, "parent")
|
||||||
|
check(cancelChild, "cancelChild")
|
||||||
|
check(valueChild, "valueChild")
|
||||||
|
check(timerChild, "timerChild")
|
||||||
|
|
||||||
|
// WithCancel should return a canceled context on a canceled parent.
|
||||||
|
precanceledChild := WithValue(parent, "key", "value")
|
||||||
|
select {
|
||||||
|
case <-precanceledChild.Done():
|
||||||
|
default:
|
||||||
|
t.Errorf("<-precanceledChild.Done() blocked, but shouldn't have")
|
||||||
|
}
|
||||||
|
if e := precanceledChild.Err(); e != Canceled {
|
||||||
|
t.Errorf("precanceledChild.Err() == %v want %v", e, Canceled)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestChildFinishesFirst(t *testing.T) {
|
||||||
|
cancelable, stop := WithCancel(Background())
|
||||||
|
defer stop()
|
||||||
|
for _, parent := range []Context{Background(), cancelable} {
|
||||||
|
child, cancel := WithCancel(parent)
|
||||||
|
|
||||||
|
select {
|
||||||
|
case x := <-parent.Done():
|
||||||
|
t.Errorf("<-parent.Done() == %v want nothing (it should block)", x)
|
||||||
|
case x := <-child.Done():
|
||||||
|
t.Errorf("<-child.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
|
||||||
|
cc := child.(*cancelCtx)
|
||||||
|
pc, pcok := parent.(*cancelCtx) // pcok == false when parent == Background()
|
||||||
|
if p, ok := parentCancelCtx(cc.Context); ok != pcok || (ok && pc != p) {
|
||||||
|
t.Errorf("bad linkage: parentCancelCtx(cc.Context) = %v, %v want %v, %v", p, ok, pc, pcok)
|
||||||
|
}
|
||||||
|
|
||||||
|
if pcok {
|
||||||
|
pc.mu.Lock()
|
||||||
|
if len(pc.children) != 1 || !pc.children[cc] {
|
||||||
|
t.Errorf("bad linkage: pc.children = %v, cc = %v", pc.children, cc)
|
||||||
|
}
|
||||||
|
pc.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
cancel()
|
||||||
|
|
||||||
|
if pcok {
|
||||||
|
pc.mu.Lock()
|
||||||
|
if len(pc.children) != 0 {
|
||||||
|
t.Errorf("child's cancel didn't remove self from pc.children = %v", pc.children)
|
||||||
|
}
|
||||||
|
pc.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
// child should be finished.
|
||||||
|
select {
|
||||||
|
case <-child.Done():
|
||||||
|
default:
|
||||||
|
t.Errorf("<-child.Done() blocked, but shouldn't have")
|
||||||
|
}
|
||||||
|
if e := child.Err(); e != Canceled {
|
||||||
|
t.Errorf("child.Err() == %v want %v", e, Canceled)
|
||||||
|
}
|
||||||
|
|
||||||
|
// parent should not be finished.
|
||||||
|
select {
|
||||||
|
case x := <-parent.Done():
|
||||||
|
t.Errorf("<-parent.Done() == %v want nothing (it should block)", x)
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
if e := parent.Err(); e != nil {
|
||||||
|
t.Errorf("parent.Err() == %v want nil", e)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func testDeadline(c Context, wait time.Duration, t *testing.T) {
|
||||||
|
select {
|
||||||
|
case <-time.After(wait):
|
||||||
|
t.Fatalf("context should have timed out")
|
||||||
|
case <-c.Done():
|
||||||
|
}
|
||||||
|
if e := c.Err(); e != DeadlineExceeded {
|
||||||
|
t.Errorf("c.Err() == %v want %v", e, DeadlineExceeded)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestDeadline(t *testing.T) {
|
||||||
|
t.Parallel()
|
||||||
|
const timeUnit = 500 * time.Millisecond
|
||||||
|
c, _ := WithDeadline(Background(), time.Now().Add(1*timeUnit))
|
||||||
|
if got, prefix := fmt.Sprint(c), "context.Background.WithDeadline("; !strings.HasPrefix(got, prefix) {
|
||||||
|
t.Errorf("c.String() = %q want prefix %q", got, prefix)
|
||||||
|
}
|
||||||
|
testDeadline(c, 2*timeUnit, t)
|
||||||
|
|
||||||
|
c, _ = WithDeadline(Background(), time.Now().Add(1*timeUnit))
|
||||||
|
o := otherContext{c}
|
||||||
|
testDeadline(o, 2*timeUnit, t)
|
||||||
|
|
||||||
|
c, _ = WithDeadline(Background(), time.Now().Add(1*timeUnit))
|
||||||
|
o = otherContext{c}
|
||||||
|
c, _ = WithDeadline(o, time.Now().Add(3*timeUnit))
|
||||||
|
testDeadline(c, 2*timeUnit, t)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestTimeout(t *testing.T) {
|
||||||
|
t.Parallel()
|
||||||
|
const timeUnit = 500 * time.Millisecond
|
||||||
|
c, _ := WithTimeout(Background(), 1*timeUnit)
|
||||||
|
if got, prefix := fmt.Sprint(c), "context.Background.WithDeadline("; !strings.HasPrefix(got, prefix) {
|
||||||
|
t.Errorf("c.String() = %q want prefix %q", got, prefix)
|
||||||
|
}
|
||||||
|
testDeadline(c, 2*timeUnit, t)
|
||||||
|
|
||||||
|
c, _ = WithTimeout(Background(), 1*timeUnit)
|
||||||
|
o := otherContext{c}
|
||||||
|
testDeadline(o, 2*timeUnit, t)
|
||||||
|
|
||||||
|
c, _ = WithTimeout(Background(), 1*timeUnit)
|
||||||
|
o = otherContext{c}
|
||||||
|
c, _ = WithTimeout(o, 3*timeUnit)
|
||||||
|
testDeadline(c, 2*timeUnit, t)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestCanceledTimeout(t *testing.T) {
|
||||||
|
t.Parallel()
|
||||||
|
const timeUnit = 500 * time.Millisecond
|
||||||
|
c, _ := WithTimeout(Background(), 2*timeUnit)
|
||||||
|
o := otherContext{c}
|
||||||
|
c, cancel := WithTimeout(o, 4*timeUnit)
|
||||||
|
cancel()
|
||||||
|
time.Sleep(1 * timeUnit) // let cancelation propagate
|
||||||
|
select {
|
||||||
|
case <-c.Done():
|
||||||
|
default:
|
||||||
|
t.Errorf("<-c.Done() blocked, but shouldn't have")
|
||||||
|
}
|
||||||
|
if e := c.Err(); e != Canceled {
|
||||||
|
t.Errorf("c.Err() == %v want %v", e, Canceled)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type key1 int
|
||||||
|
type key2 int
|
||||||
|
|
||||||
|
var k1 = key1(1)
|
||||||
|
var k2 = key2(1) // same int as k1, different type
|
||||||
|
var k3 = key2(3) // same type as k2, different int
|
||||||
|
|
||||||
|
func TestValues(t *testing.T) {
|
||||||
|
check := func(c Context, nm, v1, v2, v3 string) {
|
||||||
|
if v, ok := c.Value(k1).(string); ok == (len(v1) == 0) || v != v1 {
|
||||||
|
t.Errorf(`%s.Value(k1).(string) = %q, %t want %q, %t`, nm, v, ok, v1, len(v1) != 0)
|
||||||
|
}
|
||||||
|
if v, ok := c.Value(k2).(string); ok == (len(v2) == 0) || v != v2 {
|
||||||
|
t.Errorf(`%s.Value(k2).(string) = %q, %t want %q, %t`, nm, v, ok, v2, len(v2) != 0)
|
||||||
|
}
|
||||||
|
if v, ok := c.Value(k3).(string); ok == (len(v3) == 0) || v != v3 {
|
||||||
|
t.Errorf(`%s.Value(k3).(string) = %q, %t want %q, %t`, nm, v, ok, v3, len(v3) != 0)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
c0 := Background()
|
||||||
|
check(c0, "c0", "", "", "")
|
||||||
|
|
||||||
|
c1 := WithValue(Background(), k1, "c1k1")
|
||||||
|
check(c1, "c1", "c1k1", "", "")
|
||||||
|
|
||||||
|
if got, want := fmt.Sprint(c1), `context.Background.WithValue(1, "c1k1")`; got != want {
|
||||||
|
t.Errorf("c.String() = %q want %q", got, want)
|
||||||
|
}
|
||||||
|
|
||||||
|
c2 := WithValue(c1, k2, "c2k2")
|
||||||
|
check(c2, "c2", "c1k1", "c2k2", "")
|
||||||
|
|
||||||
|
c3 := WithValue(c2, k3, "c3k3")
|
||||||
|
check(c3, "c2", "c1k1", "c2k2", "c3k3")
|
||||||
|
|
||||||
|
c4 := WithValue(c3, k1, nil)
|
||||||
|
check(c4, "c4", "", "c2k2", "c3k3")
|
||||||
|
|
||||||
|
o0 := otherContext{Background()}
|
||||||
|
check(o0, "o0", "", "", "")
|
||||||
|
|
||||||
|
o1 := otherContext{WithValue(Background(), k1, "c1k1")}
|
||||||
|
check(o1, "o1", "c1k1", "", "")
|
||||||
|
|
||||||
|
o2 := WithValue(o1, k2, "o2k2")
|
||||||
|
check(o2, "o2", "c1k1", "o2k2", "")
|
||||||
|
|
||||||
|
o3 := otherContext{c4}
|
||||||
|
check(o3, "o3", "", "c2k2", "c3k3")
|
||||||
|
|
||||||
|
o4 := WithValue(o3, k3, nil)
|
||||||
|
check(o4, "o4", "", "c2k2", "")
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestAllocs(t *testing.T) {
|
||||||
|
bg := Background()
|
||||||
|
for _, test := range []struct {
|
||||||
|
desc string
|
||||||
|
f func()
|
||||||
|
limit float64
|
||||||
|
gccgoLimit float64
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
desc: "Background()",
|
||||||
|
f: func() { Background() },
|
||||||
|
limit: 0,
|
||||||
|
gccgoLimit: 0,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
desc: fmt.Sprintf("WithValue(bg, %v, nil)", k1),
|
||||||
|
f: func() {
|
||||||
|
c := WithValue(bg, k1, nil)
|
||||||
|
c.Value(k1)
|
||||||
|
},
|
||||||
|
limit: 3,
|
||||||
|
gccgoLimit: 3,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
desc: "WithTimeout(bg, 15*time.Millisecond)",
|
||||||
|
f: func() {
|
||||||
|
c, _ := WithTimeout(bg, 15*time.Millisecond)
|
||||||
|
<-c.Done()
|
||||||
|
},
|
||||||
|
limit: 8,
|
||||||
|
gccgoLimit: 16,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
desc: "WithCancel(bg)",
|
||||||
|
f: func() {
|
||||||
|
c, cancel := WithCancel(bg)
|
||||||
|
cancel()
|
||||||
|
<-c.Done()
|
||||||
|
},
|
||||||
|
limit: 5,
|
||||||
|
gccgoLimit: 8,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
desc: "WithTimeout(bg, 100*time.Millisecond)",
|
||||||
|
f: func() {
|
||||||
|
c, cancel := WithTimeout(bg, 100*time.Millisecond)
|
||||||
|
cancel()
|
||||||
|
<-c.Done()
|
||||||
|
},
|
||||||
|
limit: 8,
|
||||||
|
gccgoLimit: 25,
|
||||||
|
},
|
||||||
|
} {
|
||||||
|
limit := test.limit
|
||||||
|
if runtime.Compiler == "gccgo" {
|
||||||
|
// gccgo does not yet do escape analysis.
|
||||||
|
// TODO(iant): Remove this when gccgo does do escape analysis.
|
||||||
|
limit = test.gccgoLimit
|
||||||
|
}
|
||||||
|
if n := testing.AllocsPerRun(100, test.f); n > limit {
|
||||||
|
t.Errorf("%s allocs = %f want %d", test.desc, n, int(limit))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestSimultaneousCancels(t *testing.T) {
|
||||||
|
root, cancel := WithCancel(Background())
|
||||||
|
m := map[Context]CancelFunc{root: cancel}
|
||||||
|
q := []Context{root}
|
||||||
|
// Create a tree of contexts.
|
||||||
|
for len(q) != 0 && len(m) < 100 {
|
||||||
|
parent := q[0]
|
||||||
|
q = q[1:]
|
||||||
|
for i := 0; i < 4; i++ {
|
||||||
|
ctx, cancel := WithCancel(parent)
|
||||||
|
m[ctx] = cancel
|
||||||
|
q = append(q, ctx)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// Start all the cancels in a random order.
|
||||||
|
var wg sync.WaitGroup
|
||||||
|
wg.Add(len(m))
|
||||||
|
for _, cancel := range m {
|
||||||
|
go func(cancel CancelFunc) {
|
||||||
|
cancel()
|
||||||
|
wg.Done()
|
||||||
|
}(cancel)
|
||||||
|
}
|
||||||
|
// Wait on all the contexts in a random order.
|
||||||
|
for ctx := range m {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
case <-time.After(1 * time.Second):
|
||||||
|
buf := make([]byte, 10<<10)
|
||||||
|
n := runtime.Stack(buf, true)
|
||||||
|
t.Fatalf("timed out waiting for <-ctx.Done(); stacks:\n%s", buf[:n])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// Wait for all the cancel functions to return.
|
||||||
|
done := make(chan struct{})
|
||||||
|
go func() {
|
||||||
|
wg.Wait()
|
||||||
|
close(done)
|
||||||
|
}()
|
||||||
|
select {
|
||||||
|
case <-done:
|
||||||
|
case <-time.After(1 * time.Second):
|
||||||
|
buf := make([]byte, 10<<10)
|
||||||
|
n := runtime.Stack(buf, true)
|
||||||
|
t.Fatalf("timed out waiting for cancel functions; stacks:\n%s", buf[:n])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestInterlockedCancels(t *testing.T) {
|
||||||
|
parent, cancelParent := WithCancel(Background())
|
||||||
|
child, cancelChild := WithCancel(parent)
|
||||||
|
go func() {
|
||||||
|
parent.Done()
|
||||||
|
cancelChild()
|
||||||
|
}()
|
||||||
|
cancelParent()
|
||||||
|
select {
|
||||||
|
case <-child.Done():
|
||||||
|
case <-time.After(1 * time.Second):
|
||||||
|
buf := make([]byte, 10<<10)
|
||||||
|
n := runtime.Stack(buf, true)
|
||||||
|
t.Fatalf("timed out waiting for child.Done(); stacks:\n%s", buf[:n])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLayersCancel(t *testing.T) {
|
||||||
|
testLayers(t, time.Now().UnixNano(), false)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLayersTimeout(t *testing.T) {
|
||||||
|
testLayers(t, time.Now().UnixNano(), true)
|
||||||
|
}
|
||||||
|
|
||||||
|
func testLayers(t *testing.T, seed int64, testTimeout bool) {
|
||||||
|
rand.Seed(seed)
|
||||||
|
errorf := func(format string, a ...interface{}) {
|
||||||
|
t.Errorf(fmt.Sprintf("seed=%d: %s", seed, format), a...)
|
||||||
|
}
|
||||||
|
const (
|
||||||
|
timeout = 200 * time.Millisecond
|
||||||
|
minLayers = 30
|
||||||
|
)
|
||||||
|
type value int
|
||||||
|
var (
|
||||||
|
vals []*value
|
||||||
|
cancels []CancelFunc
|
||||||
|
numTimers int
|
||||||
|
ctx = Background()
|
||||||
|
)
|
||||||
|
for i := 0; i < minLayers || numTimers == 0 || len(cancels) == 0 || len(vals) == 0; i++ {
|
||||||
|
switch rand.Intn(3) {
|
||||||
|
case 0:
|
||||||
|
v := new(value)
|
||||||
|
ctx = WithValue(ctx, v, v)
|
||||||
|
vals = append(vals, v)
|
||||||
|
case 1:
|
||||||
|
var cancel CancelFunc
|
||||||
|
ctx, cancel = WithCancel(ctx)
|
||||||
|
cancels = append(cancels, cancel)
|
||||||
|
case 2:
|
||||||
|
var cancel CancelFunc
|
||||||
|
ctx, cancel = WithTimeout(ctx, timeout)
|
||||||
|
cancels = append(cancels, cancel)
|
||||||
|
numTimers++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
checkValues := func(when string) {
|
||||||
|
for _, key := range vals {
|
||||||
|
if val := ctx.Value(key).(*value); key != val {
|
||||||
|
errorf("%s: ctx.Value(%p) = %p want %p", when, key, val, key)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
errorf("ctx should not be canceled yet")
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
if s, prefix := fmt.Sprint(ctx), "context.Background."; !strings.HasPrefix(s, prefix) {
|
||||||
|
t.Errorf("ctx.String() = %q want prefix %q", s, prefix)
|
||||||
|
}
|
||||||
|
t.Log(ctx)
|
||||||
|
checkValues("before cancel")
|
||||||
|
if testTimeout {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
case <-time.After(timeout + 100*time.Millisecond):
|
||||||
|
errorf("ctx should have timed out")
|
||||||
|
}
|
||||||
|
checkValues("after timeout")
|
||||||
|
} else {
|
||||||
|
cancel := cancels[rand.Intn(len(cancels))]
|
||||||
|
cancel()
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
default:
|
||||||
|
errorf("ctx should be canceled")
|
||||||
|
}
|
||||||
|
checkValues("after cancel")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestCancelRemoves(t *testing.T) {
|
||||||
|
checkChildren := func(when string, ctx Context, want int) {
|
||||||
|
if got := len(ctx.(*cancelCtx).children); got != want {
|
||||||
|
t.Errorf("%s: context has %d children, want %d", when, got, want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
ctx, _ := WithCancel(Background())
|
||||||
|
checkChildren("after creation", ctx, 0)
|
||||||
|
_, cancel := WithCancel(ctx)
|
||||||
|
checkChildren("with WithCancel child ", ctx, 1)
|
||||||
|
cancel()
|
||||||
|
checkChildren("after cancelling WithCancel child", ctx, 0)
|
||||||
|
|
||||||
|
ctx, _ = WithCancel(Background())
|
||||||
|
checkChildren("after creation", ctx, 0)
|
||||||
|
_, cancel = WithTimeout(ctx, 60*time.Minute)
|
||||||
|
checkChildren("with WithTimeout child ", ctx, 1)
|
||||||
|
cancel()
|
||||||
|
checkChildren("after cancelling WithTimeout child", ctx, 0)
|
||||||
|
}
|
|
@ -0,0 +1,74 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build go1.7
|
||||||
|
|
||||||
|
// Package ctxhttp provides helper functions for performing context-aware HTTP requests.
|
||||||
|
package ctxhttp // import "golang.org/x/net/context/ctxhttp"
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"net/http"
|
||||||
|
"net/url"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"golang.org/x/net/context"
|
||||||
|
)
|
||||||
|
|
||||||
|
// Do sends an HTTP request with the provided http.Client and returns
|
||||||
|
// an HTTP response.
|
||||||
|
//
|
||||||
|
// If the client is nil, http.DefaultClient is used.
|
||||||
|
//
|
||||||
|
// The provided ctx must be non-nil. If it is canceled or times out,
|
||||||
|
// ctx.Err() will be returned.
|
||||||
|
func Do(ctx context.Context, client *http.Client, req *http.Request) (*http.Response, error) {
|
||||||
|
if client == nil {
|
||||||
|
client = http.DefaultClient
|
||||||
|
}
|
||||||
|
resp, err := client.Do(req.WithContext(ctx))
|
||||||
|
// If we got an error, and the context has been canceled,
|
||||||
|
// the context's error is probably more useful.
|
||||||
|
if err != nil {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
err = ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return resp, err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Get issues a GET request via the Do function.
|
||||||
|
func Get(ctx context.Context, client *http.Client, url string) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("GET", url, nil)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Head issues a HEAD request via the Do function.
|
||||||
|
func Head(ctx context.Context, client *http.Client, url string) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("HEAD", url, nil)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Post issues a POST request via the Do function.
|
||||||
|
func Post(ctx context.Context, client *http.Client, url string, bodyType string, body io.Reader) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("POST", url, body)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
req.Header.Set("Content-Type", bodyType)
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// PostForm issues a POST request via the Do function.
|
||||||
|
func PostForm(ctx context.Context, client *http.Client, url string, data url.Values) (*http.Response, error) {
|
||||||
|
return Post(ctx, client, url, "application/x-www-form-urlencoded", strings.NewReader(data.Encode()))
|
||||||
|
}
|
|
@ -0,0 +1,29 @@
|
||||||
|
// Copyright 2015 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !plan9,go1.7
|
||||||
|
|
||||||
|
package ctxhttp
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"net/http"
|
||||||
|
"net/http/httptest"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"context"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestGo17Context(t *testing.T) {
|
||||||
|
ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||||
|
io.WriteString(w, "ok")
|
||||||
|
}))
|
||||||
|
defer ts.Close()
|
||||||
|
ctx := context.Background()
|
||||||
|
resp, err := Get(ctx, http.DefaultClient, ts.URL)
|
||||||
|
if resp == nil || err != nil {
|
||||||
|
t.Fatalf("error received from client: %v %v", err, resp)
|
||||||
|
}
|
||||||
|
resp.Body.Close()
|
||||||
|
}
|
|
@ -0,0 +1,147 @@
|
||||||
|
// Copyright 2015 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !go1.7
|
||||||
|
|
||||||
|
package ctxhttp // import "golang.org/x/net/context/ctxhttp"
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"net/http"
|
||||||
|
"net/url"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"golang.org/x/net/context"
|
||||||
|
)
|
||||||
|
|
||||||
|
func nop() {}
|
||||||
|
|
||||||
|
var (
|
||||||
|
testHookContextDoneBeforeHeaders = nop
|
||||||
|
testHookDoReturned = nop
|
||||||
|
testHookDidBodyClose = nop
|
||||||
|
)
|
||||||
|
|
||||||
|
// Do sends an HTTP request with the provided http.Client and returns an HTTP response.
|
||||||
|
// If the client is nil, http.DefaultClient is used.
|
||||||
|
// If the context is canceled or times out, ctx.Err() will be returned.
|
||||||
|
func Do(ctx context.Context, client *http.Client, req *http.Request) (*http.Response, error) {
|
||||||
|
if client == nil {
|
||||||
|
client = http.DefaultClient
|
||||||
|
}
|
||||||
|
|
||||||
|
// TODO(djd): Respect any existing value of req.Cancel.
|
||||||
|
cancel := make(chan struct{})
|
||||||
|
req.Cancel = cancel
|
||||||
|
|
||||||
|
type responseAndError struct {
|
||||||
|
resp *http.Response
|
||||||
|
err error
|
||||||
|
}
|
||||||
|
result := make(chan responseAndError, 1)
|
||||||
|
|
||||||
|
// Make local copies of test hooks closed over by goroutines below.
|
||||||
|
// Prevents data races in tests.
|
||||||
|
testHookDoReturned := testHookDoReturned
|
||||||
|
testHookDidBodyClose := testHookDidBodyClose
|
||||||
|
|
||||||
|
go func() {
|
||||||
|
resp, err := client.Do(req)
|
||||||
|
testHookDoReturned()
|
||||||
|
result <- responseAndError{resp, err}
|
||||||
|
}()
|
||||||
|
|
||||||
|
var resp *http.Response
|
||||||
|
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
testHookContextDoneBeforeHeaders()
|
||||||
|
close(cancel)
|
||||||
|
// Clean up after the goroutine calling client.Do:
|
||||||
|
go func() {
|
||||||
|
if r := <-result; r.resp != nil {
|
||||||
|
testHookDidBodyClose()
|
||||||
|
r.resp.Body.Close()
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
return nil, ctx.Err()
|
||||||
|
case r := <-result:
|
||||||
|
var err error
|
||||||
|
resp, err = r.resp, r.err
|
||||||
|
if err != nil {
|
||||||
|
return resp, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
c := make(chan struct{})
|
||||||
|
go func() {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
close(cancel)
|
||||||
|
case <-c:
|
||||||
|
// The response's Body is closed.
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
resp.Body = ¬ifyingReader{resp.Body, c}
|
||||||
|
|
||||||
|
return resp, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Get issues a GET request via the Do function.
|
||||||
|
func Get(ctx context.Context, client *http.Client, url string) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("GET", url, nil)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Head issues a HEAD request via the Do function.
|
||||||
|
func Head(ctx context.Context, client *http.Client, url string) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("HEAD", url, nil)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Post issues a POST request via the Do function.
|
||||||
|
func Post(ctx context.Context, client *http.Client, url string, bodyType string, body io.Reader) (*http.Response, error) {
|
||||||
|
req, err := http.NewRequest("POST", url, body)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
req.Header.Set("Content-Type", bodyType)
|
||||||
|
return Do(ctx, client, req)
|
||||||
|
}
|
||||||
|
|
||||||
|
// PostForm issues a POST request via the Do function.
|
||||||
|
func PostForm(ctx context.Context, client *http.Client, url string, data url.Values) (*http.Response, error) {
|
||||||
|
return Post(ctx, client, url, "application/x-www-form-urlencoded", strings.NewReader(data.Encode()))
|
||||||
|
}
|
||||||
|
|
||||||
|
// notifyingReader is an io.ReadCloser that closes the notify channel after
|
||||||
|
// Close is called or a Read fails on the underlying ReadCloser.
|
||||||
|
type notifyingReader struct {
|
||||||
|
io.ReadCloser
|
||||||
|
notify chan<- struct{}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *notifyingReader) Read(p []byte) (int, error) {
|
||||||
|
n, err := r.ReadCloser.Read(p)
|
||||||
|
if err != nil && r.notify != nil {
|
||||||
|
close(r.notify)
|
||||||
|
r.notify = nil
|
||||||
|
}
|
||||||
|
return n, err
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *notifyingReader) Close() error {
|
||||||
|
err := r.ReadCloser.Close()
|
||||||
|
if r.notify != nil {
|
||||||
|
close(r.notify)
|
||||||
|
r.notify = nil
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}
|
|
@ -0,0 +1,79 @@
|
||||||
|
// Copyright 2015 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !plan9,!go1.7
|
||||||
|
|
||||||
|
package ctxhttp
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net"
|
||||||
|
"net/http"
|
||||||
|
"net/http/httptest"
|
||||||
|
"sync"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"golang.org/x/net/context"
|
||||||
|
)
|
||||||
|
|
||||||
|
// golang.org/issue/14065
|
||||||
|
func TestClosesResponseBodyOnCancel(t *testing.T) {
|
||||||
|
defer func() { testHookContextDoneBeforeHeaders = nop }()
|
||||||
|
defer func() { testHookDoReturned = nop }()
|
||||||
|
defer func() { testHookDidBodyClose = nop }()
|
||||||
|
|
||||||
|
ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {}))
|
||||||
|
defer ts.Close()
|
||||||
|
|
||||||
|
ctx, cancel := context.WithCancel(context.Background())
|
||||||
|
|
||||||
|
// closed when Do enters select case <-ctx.Done()
|
||||||
|
enteredDonePath := make(chan struct{})
|
||||||
|
|
||||||
|
testHookContextDoneBeforeHeaders = func() {
|
||||||
|
close(enteredDonePath)
|
||||||
|
}
|
||||||
|
|
||||||
|
testHookDoReturned = func() {
|
||||||
|
// We now have the result (the Flush'd headers) at least,
|
||||||
|
// so we can cancel the request.
|
||||||
|
cancel()
|
||||||
|
|
||||||
|
// But block the client.Do goroutine from sending
|
||||||
|
// until Do enters into the <-ctx.Done() path, since
|
||||||
|
// otherwise if both channels are readable, select
|
||||||
|
// picks a random one.
|
||||||
|
<-enteredDonePath
|
||||||
|
}
|
||||||
|
|
||||||
|
sawBodyClose := make(chan struct{})
|
||||||
|
testHookDidBodyClose = func() { close(sawBodyClose) }
|
||||||
|
|
||||||
|
tr := &http.Transport{}
|
||||||
|
defer tr.CloseIdleConnections()
|
||||||
|
c := &http.Client{Transport: tr}
|
||||||
|
req, _ := http.NewRequest("GET", ts.URL, nil)
|
||||||
|
_, doErr := Do(ctx, c, req)
|
||||||
|
|
||||||
|
select {
|
||||||
|
case <-sawBodyClose:
|
||||||
|
case <-time.After(5 * time.Second):
|
||||||
|
t.Fatal("timeout waiting for body to close")
|
||||||
|
}
|
||||||
|
|
||||||
|
if doErr != ctx.Err() {
|
||||||
|
t.Errorf("Do error = %v; want %v", doErr, ctx.Err())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type noteCloseConn struct {
|
||||||
|
net.Conn
|
||||||
|
onceClose sync.Once
|
||||||
|
closefn func()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *noteCloseConn) Close() error {
|
||||||
|
c.onceClose.Do(c.closefn)
|
||||||
|
return c.Conn.Close()
|
||||||
|
}
|
|
@ -0,0 +1,105 @@
|
||||||
|
// Copyright 2015 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !plan9
|
||||||
|
|
||||||
|
package ctxhttp
|
||||||
|
|
||||||
|
import (
|
||||||
|
"io"
|
||||||
|
"io/ioutil"
|
||||||
|
"net/http"
|
||||||
|
"net/http/httptest"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"golang.org/x/net/context"
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
requestDuration = 100 * time.Millisecond
|
||||||
|
requestBody = "ok"
|
||||||
|
)
|
||||||
|
|
||||||
|
func okHandler(w http.ResponseWriter, r *http.Request) {
|
||||||
|
time.Sleep(requestDuration)
|
||||||
|
io.WriteString(w, requestBody)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestNoTimeout(t *testing.T) {
|
||||||
|
ts := httptest.NewServer(http.HandlerFunc(okHandler))
|
||||||
|
defer ts.Close()
|
||||||
|
|
||||||
|
ctx := context.Background()
|
||||||
|
res, err := Get(ctx, nil, ts.URL)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
defer res.Body.Close()
|
||||||
|
slurp, err := ioutil.ReadAll(res.Body)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if string(slurp) != requestBody {
|
||||||
|
t.Errorf("body = %q; want %q", slurp, requestBody)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestCancelBeforeHeaders(t *testing.T) {
|
||||||
|
ctx, cancel := context.WithCancel(context.Background())
|
||||||
|
|
||||||
|
blockServer := make(chan struct{})
|
||||||
|
ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||||
|
cancel()
|
||||||
|
<-blockServer
|
||||||
|
io.WriteString(w, requestBody)
|
||||||
|
}))
|
||||||
|
defer ts.Close()
|
||||||
|
defer close(blockServer)
|
||||||
|
|
||||||
|
res, err := Get(ctx, nil, ts.URL)
|
||||||
|
if err == nil {
|
||||||
|
res.Body.Close()
|
||||||
|
t.Fatal("Get returned unexpected nil error")
|
||||||
|
}
|
||||||
|
if err != context.Canceled {
|
||||||
|
t.Errorf("err = %v; want %v", err, context.Canceled)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestCancelAfterHangingRequest(t *testing.T) {
|
||||||
|
ts := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||||
|
w.WriteHeader(http.StatusOK)
|
||||||
|
w.(http.Flusher).Flush()
|
||||||
|
<-w.(http.CloseNotifier).CloseNotify()
|
||||||
|
}))
|
||||||
|
defer ts.Close()
|
||||||
|
|
||||||
|
ctx, cancel := context.WithCancel(context.Background())
|
||||||
|
resp, err := Get(ctx, nil, ts.URL)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error in Get: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Cancel befer reading the body.
|
||||||
|
// Reading Request.Body should fail, since the request was
|
||||||
|
// canceled before anything was written.
|
||||||
|
cancel()
|
||||||
|
|
||||||
|
done := make(chan struct{})
|
||||||
|
|
||||||
|
go func() {
|
||||||
|
b, err := ioutil.ReadAll(resp.Body)
|
||||||
|
if len(b) != 0 || err == nil {
|
||||||
|
t.Errorf(`Read got (%q, %v); want ("", error)`, b, err)
|
||||||
|
}
|
||||||
|
close(done)
|
||||||
|
}()
|
||||||
|
|
||||||
|
select {
|
||||||
|
case <-time.After(1 * time.Second):
|
||||||
|
t.Errorf("Test timed out")
|
||||||
|
case <-done:
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,72 @@
|
||||||
|
// Copyright 2016 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build go1.7
|
||||||
|
|
||||||
|
package context
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context" // standard library's context, as of Go 1.7
|
||||||
|
"time"
|
||||||
|
)
|
||||||
|
|
||||||
|
var (
|
||||||
|
todo = context.TODO()
|
||||||
|
background = context.Background()
|
||||||
|
)
|
||||||
|
|
||||||
|
// Canceled is the error returned by Context.Err when the context is canceled.
|
||||||
|
var Canceled = context.Canceled
|
||||||
|
|
||||||
|
// DeadlineExceeded is the error returned by Context.Err when the context's
|
||||||
|
// deadline passes.
|
||||||
|
var DeadlineExceeded = context.DeadlineExceeded
|
||||||
|
|
||||||
|
// WithCancel returns a copy of parent with a new Done channel. The returned
|
||||||
|
// context's Done channel is closed when the returned cancel function is called
|
||||||
|
// or when the parent context's Done channel is closed, whichever happens first.
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete.
|
||||||
|
func WithCancel(parent Context) (ctx Context, cancel CancelFunc) {
|
||||||
|
ctx, f := context.WithCancel(parent)
|
||||||
|
return ctx, CancelFunc(f)
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithDeadline returns a copy of the parent context with the deadline adjusted
|
||||||
|
// to be no later than d. If the parent's deadline is already earlier than d,
|
||||||
|
// WithDeadline(parent, d) is semantically equivalent to parent. The returned
|
||||||
|
// context's Done channel is closed when the deadline expires, when the returned
|
||||||
|
// cancel function is called, or when the parent context's Done channel is
|
||||||
|
// closed, whichever happens first.
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete.
|
||||||
|
func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc) {
|
||||||
|
ctx, f := context.WithDeadline(parent, deadline)
|
||||||
|
return ctx, CancelFunc(f)
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithTimeout returns WithDeadline(parent, time.Now().Add(timeout)).
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete:
|
||||||
|
//
|
||||||
|
// func slowOperationWithTimeout(ctx context.Context) (Result, error) {
|
||||||
|
// ctx, cancel := context.WithTimeout(ctx, 100*time.Millisecond)
|
||||||
|
// defer cancel() // releases resources if slowOperation completes before timeout elapses
|
||||||
|
// return slowOperation(ctx)
|
||||||
|
// }
|
||||||
|
func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc) {
|
||||||
|
return WithDeadline(parent, time.Now().Add(timeout))
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithValue returns a copy of parent in which the value associated with key is
|
||||||
|
// val.
|
||||||
|
//
|
||||||
|
// Use context Values only for request-scoped data that transits processes and
|
||||||
|
// APIs, not for passing optional parameters to functions.
|
||||||
|
func WithValue(parent Context, key interface{}, val interface{}) Context {
|
||||||
|
return context.WithValue(parent, key, val)
|
||||||
|
}
|
|
@ -0,0 +1,20 @@
|
||||||
|
// Copyright 2017 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build go1.9
|
||||||
|
|
||||||
|
package context
|
||||||
|
|
||||||
|
import "context" // standard library's context, as of Go 1.7
|
||||||
|
|
||||||
|
// A Context carries a deadline, a cancelation signal, and other values across
|
||||||
|
// API boundaries.
|
||||||
|
//
|
||||||
|
// Context's methods may be called by multiple goroutines simultaneously.
|
||||||
|
type Context = context.Context
|
||||||
|
|
||||||
|
// A CancelFunc tells an operation to abandon its work.
|
||||||
|
// A CancelFunc does not wait for the work to stop.
|
||||||
|
// After the first call, subsequent calls to a CancelFunc do nothing.
|
||||||
|
type CancelFunc = context.CancelFunc
|
|
@ -0,0 +1,300 @@
|
||||||
|
// Copyright 2014 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !go1.7
|
||||||
|
|
||||||
|
package context
|
||||||
|
|
||||||
|
import (
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
"sync"
|
||||||
|
"time"
|
||||||
|
)
|
||||||
|
|
||||||
|
// An emptyCtx is never canceled, has no values, and has no deadline. It is not
|
||||||
|
// struct{}, since vars of this type must have distinct addresses.
|
||||||
|
type emptyCtx int
|
||||||
|
|
||||||
|
func (*emptyCtx) Deadline() (deadline time.Time, ok bool) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
func (*emptyCtx) Done() <-chan struct{} {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (*emptyCtx) Err() error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (*emptyCtx) Value(key interface{}) interface{} {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (e *emptyCtx) String() string {
|
||||||
|
switch e {
|
||||||
|
case background:
|
||||||
|
return "context.Background"
|
||||||
|
case todo:
|
||||||
|
return "context.TODO"
|
||||||
|
}
|
||||||
|
return "unknown empty Context"
|
||||||
|
}
|
||||||
|
|
||||||
|
var (
|
||||||
|
background = new(emptyCtx)
|
||||||
|
todo = new(emptyCtx)
|
||||||
|
)
|
||||||
|
|
||||||
|
// Canceled is the error returned by Context.Err when the context is canceled.
|
||||||
|
var Canceled = errors.New("context canceled")
|
||||||
|
|
||||||
|
// DeadlineExceeded is the error returned by Context.Err when the context's
|
||||||
|
// deadline passes.
|
||||||
|
var DeadlineExceeded = errors.New("context deadline exceeded")
|
||||||
|
|
||||||
|
// WithCancel returns a copy of parent with a new Done channel. The returned
|
||||||
|
// context's Done channel is closed when the returned cancel function is called
|
||||||
|
// or when the parent context's Done channel is closed, whichever happens first.
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete.
|
||||||
|
func WithCancel(parent Context) (ctx Context, cancel CancelFunc) {
|
||||||
|
c := newCancelCtx(parent)
|
||||||
|
propagateCancel(parent, c)
|
||||||
|
return c, func() { c.cancel(true, Canceled) }
|
||||||
|
}
|
||||||
|
|
||||||
|
// newCancelCtx returns an initialized cancelCtx.
|
||||||
|
func newCancelCtx(parent Context) *cancelCtx {
|
||||||
|
return &cancelCtx{
|
||||||
|
Context: parent,
|
||||||
|
done: make(chan struct{}),
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// propagateCancel arranges for child to be canceled when parent is.
|
||||||
|
func propagateCancel(parent Context, child canceler) {
|
||||||
|
if parent.Done() == nil {
|
||||||
|
return // parent is never canceled
|
||||||
|
}
|
||||||
|
if p, ok := parentCancelCtx(parent); ok {
|
||||||
|
p.mu.Lock()
|
||||||
|
if p.err != nil {
|
||||||
|
// parent has already been canceled
|
||||||
|
child.cancel(false, p.err)
|
||||||
|
} else {
|
||||||
|
if p.children == nil {
|
||||||
|
p.children = make(map[canceler]bool)
|
||||||
|
}
|
||||||
|
p.children[child] = true
|
||||||
|
}
|
||||||
|
p.mu.Unlock()
|
||||||
|
} else {
|
||||||
|
go func() {
|
||||||
|
select {
|
||||||
|
case <-parent.Done():
|
||||||
|
child.cancel(false, parent.Err())
|
||||||
|
case <-child.Done():
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// parentCancelCtx follows a chain of parent references until it finds a
|
||||||
|
// *cancelCtx. This function understands how each of the concrete types in this
|
||||||
|
// package represents its parent.
|
||||||
|
func parentCancelCtx(parent Context) (*cancelCtx, bool) {
|
||||||
|
for {
|
||||||
|
switch c := parent.(type) {
|
||||||
|
case *cancelCtx:
|
||||||
|
return c, true
|
||||||
|
case *timerCtx:
|
||||||
|
return c.cancelCtx, true
|
||||||
|
case *valueCtx:
|
||||||
|
parent = c.Context
|
||||||
|
default:
|
||||||
|
return nil, false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// removeChild removes a context from its parent.
|
||||||
|
func removeChild(parent Context, child canceler) {
|
||||||
|
p, ok := parentCancelCtx(parent)
|
||||||
|
if !ok {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
p.mu.Lock()
|
||||||
|
if p.children != nil {
|
||||||
|
delete(p.children, child)
|
||||||
|
}
|
||||||
|
p.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
// A canceler is a context type that can be canceled directly. The
|
||||||
|
// implementations are *cancelCtx and *timerCtx.
|
||||||
|
type canceler interface {
|
||||||
|
cancel(removeFromParent bool, err error)
|
||||||
|
Done() <-chan struct{}
|
||||||
|
}
|
||||||
|
|
||||||
|
// A cancelCtx can be canceled. When canceled, it also cancels any children
|
||||||
|
// that implement canceler.
|
||||||
|
type cancelCtx struct {
|
||||||
|
Context
|
||||||
|
|
||||||
|
done chan struct{} // closed by the first cancel call.
|
||||||
|
|
||||||
|
mu sync.Mutex
|
||||||
|
children map[canceler]bool // set to nil by the first cancel call
|
||||||
|
err error // set to non-nil by the first cancel call
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *cancelCtx) Done() <-chan struct{} {
|
||||||
|
return c.done
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *cancelCtx) Err() error {
|
||||||
|
c.mu.Lock()
|
||||||
|
defer c.mu.Unlock()
|
||||||
|
return c.err
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *cancelCtx) String() string {
|
||||||
|
return fmt.Sprintf("%v.WithCancel", c.Context)
|
||||||
|
}
|
||||||
|
|
||||||
|
// cancel closes c.done, cancels each of c's children, and, if
|
||||||
|
// removeFromParent is true, removes c from its parent's children.
|
||||||
|
func (c *cancelCtx) cancel(removeFromParent bool, err error) {
|
||||||
|
if err == nil {
|
||||||
|
panic("context: internal error: missing cancel error")
|
||||||
|
}
|
||||||
|
c.mu.Lock()
|
||||||
|
if c.err != nil {
|
||||||
|
c.mu.Unlock()
|
||||||
|
return // already canceled
|
||||||
|
}
|
||||||
|
c.err = err
|
||||||
|
close(c.done)
|
||||||
|
for child := range c.children {
|
||||||
|
// NOTE: acquiring the child's lock while holding parent's lock.
|
||||||
|
child.cancel(false, err)
|
||||||
|
}
|
||||||
|
c.children = nil
|
||||||
|
c.mu.Unlock()
|
||||||
|
|
||||||
|
if removeFromParent {
|
||||||
|
removeChild(c.Context, c)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithDeadline returns a copy of the parent context with the deadline adjusted
|
||||||
|
// to be no later than d. If the parent's deadline is already earlier than d,
|
||||||
|
// WithDeadline(parent, d) is semantically equivalent to parent. The returned
|
||||||
|
// context's Done channel is closed when the deadline expires, when the returned
|
||||||
|
// cancel function is called, or when the parent context's Done channel is
|
||||||
|
// closed, whichever happens first.
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete.
|
||||||
|
func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc) {
|
||||||
|
if cur, ok := parent.Deadline(); ok && cur.Before(deadline) {
|
||||||
|
// The current deadline is already sooner than the new one.
|
||||||
|
return WithCancel(parent)
|
||||||
|
}
|
||||||
|
c := &timerCtx{
|
||||||
|
cancelCtx: newCancelCtx(parent),
|
||||||
|
deadline: deadline,
|
||||||
|
}
|
||||||
|
propagateCancel(parent, c)
|
||||||
|
d := deadline.Sub(time.Now())
|
||||||
|
if d <= 0 {
|
||||||
|
c.cancel(true, DeadlineExceeded) // deadline has already passed
|
||||||
|
return c, func() { c.cancel(true, Canceled) }
|
||||||
|
}
|
||||||
|
c.mu.Lock()
|
||||||
|
defer c.mu.Unlock()
|
||||||
|
if c.err == nil {
|
||||||
|
c.timer = time.AfterFunc(d, func() {
|
||||||
|
c.cancel(true, DeadlineExceeded)
|
||||||
|
})
|
||||||
|
}
|
||||||
|
return c, func() { c.cancel(true, Canceled) }
|
||||||
|
}
|
||||||
|
|
||||||
|
// A timerCtx carries a timer and a deadline. It embeds a cancelCtx to
|
||||||
|
// implement Done and Err. It implements cancel by stopping its timer then
|
||||||
|
// delegating to cancelCtx.cancel.
|
||||||
|
type timerCtx struct {
|
||||||
|
*cancelCtx
|
||||||
|
timer *time.Timer // Under cancelCtx.mu.
|
||||||
|
|
||||||
|
deadline time.Time
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *timerCtx) Deadline() (deadline time.Time, ok bool) {
|
||||||
|
return c.deadline, true
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *timerCtx) String() string {
|
||||||
|
return fmt.Sprintf("%v.WithDeadline(%s [%s])", c.cancelCtx.Context, c.deadline, c.deadline.Sub(time.Now()))
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *timerCtx) cancel(removeFromParent bool, err error) {
|
||||||
|
c.cancelCtx.cancel(false, err)
|
||||||
|
if removeFromParent {
|
||||||
|
// Remove this timerCtx from its parent cancelCtx's children.
|
||||||
|
removeChild(c.cancelCtx.Context, c)
|
||||||
|
}
|
||||||
|
c.mu.Lock()
|
||||||
|
if c.timer != nil {
|
||||||
|
c.timer.Stop()
|
||||||
|
c.timer = nil
|
||||||
|
}
|
||||||
|
c.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithTimeout returns WithDeadline(parent, time.Now().Add(timeout)).
|
||||||
|
//
|
||||||
|
// Canceling this context releases resources associated with it, so code should
|
||||||
|
// call cancel as soon as the operations running in this Context complete:
|
||||||
|
//
|
||||||
|
// func slowOperationWithTimeout(ctx context.Context) (Result, error) {
|
||||||
|
// ctx, cancel := context.WithTimeout(ctx, 100*time.Millisecond)
|
||||||
|
// defer cancel() // releases resources if slowOperation completes before timeout elapses
|
||||||
|
// return slowOperation(ctx)
|
||||||
|
// }
|
||||||
|
func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc) {
|
||||||
|
return WithDeadline(parent, time.Now().Add(timeout))
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithValue returns a copy of parent in which the value associated with key is
|
||||||
|
// val.
|
||||||
|
//
|
||||||
|
// Use context Values only for request-scoped data that transits processes and
|
||||||
|
// APIs, not for passing optional parameters to functions.
|
||||||
|
func WithValue(parent Context, key interface{}, val interface{}) Context {
|
||||||
|
return &valueCtx{parent, key, val}
|
||||||
|
}
|
||||||
|
|
||||||
|
// A valueCtx carries a key-value pair. It implements Value for that key and
|
||||||
|
// delegates all other calls to the embedded Context.
|
||||||
|
type valueCtx struct {
|
||||||
|
Context
|
||||||
|
key, val interface{}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *valueCtx) String() string {
|
||||||
|
return fmt.Sprintf("%v.WithValue(%#v, %#v)", c.Context, c.key, c.val)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *valueCtx) Value(key interface{}) interface{} {
|
||||||
|
if c.key == key {
|
||||||
|
return c.val
|
||||||
|
}
|
||||||
|
return c.Context.Value(key)
|
||||||
|
}
|
|
@ -0,0 +1,109 @@
|
||||||
|
// Copyright 2014 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build !go1.9
|
||||||
|
|
||||||
|
package context
|
||||||
|
|
||||||
|
import "time"
|
||||||
|
|
||||||
|
// A Context carries a deadline, a cancelation signal, and other values across
|
||||||
|
// API boundaries.
|
||||||
|
//
|
||||||
|
// Context's methods may be called by multiple goroutines simultaneously.
|
||||||
|
type Context interface {
|
||||||
|
// Deadline returns the time when work done on behalf of this context
|
||||||
|
// should be canceled. Deadline returns ok==false when no deadline is
|
||||||
|
// set. Successive calls to Deadline return the same results.
|
||||||
|
Deadline() (deadline time.Time, ok bool)
|
||||||
|
|
||||||
|
// Done returns a channel that's closed when work done on behalf of this
|
||||||
|
// context should be canceled. Done may return nil if this context can
|
||||||
|
// never be canceled. Successive calls to Done return the same value.
|
||||||
|
//
|
||||||
|
// WithCancel arranges for Done to be closed when cancel is called;
|
||||||
|
// WithDeadline arranges for Done to be closed when the deadline
|
||||||
|
// expires; WithTimeout arranges for Done to be closed when the timeout
|
||||||
|
// elapses.
|
||||||
|
//
|
||||||
|
// Done is provided for use in select statements:
|
||||||
|
//
|
||||||
|
// // Stream generates values with DoSomething and sends them to out
|
||||||
|
// // until DoSomething returns an error or ctx.Done is closed.
|
||||||
|
// func Stream(ctx context.Context, out chan<- Value) error {
|
||||||
|
// for {
|
||||||
|
// v, err := DoSomething(ctx)
|
||||||
|
// if err != nil {
|
||||||
|
// return err
|
||||||
|
// }
|
||||||
|
// select {
|
||||||
|
// case <-ctx.Done():
|
||||||
|
// return ctx.Err()
|
||||||
|
// case out <- v:
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// See http://blog.golang.org/pipelines for more examples of how to use
|
||||||
|
// a Done channel for cancelation.
|
||||||
|
Done() <-chan struct{}
|
||||||
|
|
||||||
|
// Err returns a non-nil error value after Done is closed. Err returns
|
||||||
|
// Canceled if the context was canceled or DeadlineExceeded if the
|
||||||
|
// context's deadline passed. No other values for Err are defined.
|
||||||
|
// After Done is closed, successive calls to Err return the same value.
|
||||||
|
Err() error
|
||||||
|
|
||||||
|
// Value returns the value associated with this context for key, or nil
|
||||||
|
// if no value is associated with key. Successive calls to Value with
|
||||||
|
// the same key returns the same result.
|
||||||
|
//
|
||||||
|
// Use context values only for request-scoped data that transits
|
||||||
|
// processes and API boundaries, not for passing optional parameters to
|
||||||
|
// functions.
|
||||||
|
//
|
||||||
|
// A key identifies a specific value in a Context. Functions that wish
|
||||||
|
// to store values in Context typically allocate a key in a global
|
||||||
|
// variable then use that key as the argument to context.WithValue and
|
||||||
|
// Context.Value. A key can be any type that supports equality;
|
||||||
|
// packages should define keys as an unexported type to avoid
|
||||||
|
// collisions.
|
||||||
|
//
|
||||||
|
// Packages that define a Context key should provide type-safe accessors
|
||||||
|
// for the values stores using that key:
|
||||||
|
//
|
||||||
|
// // Package user defines a User type that's stored in Contexts.
|
||||||
|
// package user
|
||||||
|
//
|
||||||
|
// import "golang.org/x/net/context"
|
||||||
|
//
|
||||||
|
// // User is the type of value stored in the Contexts.
|
||||||
|
// type User struct {...}
|
||||||
|
//
|
||||||
|
// // key is an unexported type for keys defined in this package.
|
||||||
|
// // This prevents collisions with keys defined in other packages.
|
||||||
|
// type key int
|
||||||
|
//
|
||||||
|
// // userKey is the key for user.User values in Contexts. It is
|
||||||
|
// // unexported; clients use user.NewContext and user.FromContext
|
||||||
|
// // instead of using this key directly.
|
||||||
|
// var userKey key = 0
|
||||||
|
//
|
||||||
|
// // NewContext returns a new Context that carries value u.
|
||||||
|
// func NewContext(ctx context.Context, u *User) context.Context {
|
||||||
|
// return context.WithValue(ctx, userKey, u)
|
||||||
|
// }
|
||||||
|
//
|
||||||
|
// // FromContext returns the User value stored in ctx, if any.
|
||||||
|
// func FromContext(ctx context.Context) (*User, bool) {
|
||||||
|
// u, ok := ctx.Value(userKey).(*User)
|
||||||
|
// return u, ok
|
||||||
|
// }
|
||||||
|
Value(key interface{}) interface{}
|
||||||
|
}
|
||||||
|
|
||||||
|
// A CancelFunc tells an operation to abandon its work.
|
||||||
|
// A CancelFunc does not wait for the work to stop.
|
||||||
|
// After the first call, subsequent calls to a CancelFunc do nothing.
|
||||||
|
type CancelFunc func()
|
|
@ -0,0 +1,31 @@
|
||||||
|
// Copyright 2014 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package context_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"golang.org/x/net/context"
|
||||||
|
)
|
||||||
|
|
||||||
|
// This example passes a context with a timeout to tell a blocking function that
|
||||||
|
// it should abandon its work after the timeout elapses.
|
||||||
|
func ExampleWithTimeout() {
|
||||||
|
// Pass a context with a timeout to tell a blocking function that it
|
||||||
|
// should abandon its work after the timeout elapses.
|
||||||
|
ctx, cancel := context.WithTimeout(context.Background(), 50*time.Millisecond)
|
||||||
|
defer cancel()
|
||||||
|
|
||||||
|
select {
|
||||||
|
case <-time.After(1 * time.Second):
|
||||||
|
fmt.Println("overslept")
|
||||||
|
case <-ctx.Done():
|
||||||
|
fmt.Println(ctx.Err()) // prints "context deadline exceeded"
|
||||||
|
}
|
||||||
|
|
||||||
|
// Output:
|
||||||
|
// context deadline exceeded
|
||||||
|
}
|
|
@ -0,0 +1,210 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// Package dict implements the Dictionary Server Protocol
|
||||||
|
// as defined in RFC 2229.
|
||||||
|
package dict // import "golang.org/x/net/dict"
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net/textproto"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
// A Client represents a client connection to a dictionary server.
|
||||||
|
type Client struct {
|
||||||
|
text *textproto.Conn
|
||||||
|
}
|
||||||
|
|
||||||
|
// Dial returns a new client connected to a dictionary server at
|
||||||
|
// addr on the given network.
|
||||||
|
func Dial(network, addr string) (*Client, error) {
|
||||||
|
text, err := textproto.Dial(network, addr)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
_, _, err = text.ReadCodeLine(220)
|
||||||
|
if err != nil {
|
||||||
|
text.Close()
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return &Client{text: text}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Close closes the connection to the dictionary server.
|
||||||
|
func (c *Client) Close() error {
|
||||||
|
return c.text.Close()
|
||||||
|
}
|
||||||
|
|
||||||
|
// A Dict represents a dictionary available on the server.
|
||||||
|
type Dict struct {
|
||||||
|
Name string // short name of dictionary
|
||||||
|
Desc string // long description
|
||||||
|
}
|
||||||
|
|
||||||
|
// Dicts returns a list of the dictionaries available on the server.
|
||||||
|
func (c *Client) Dicts() ([]Dict, error) {
|
||||||
|
id, err := c.text.Cmd("SHOW DB")
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
c.text.StartResponse(id)
|
||||||
|
defer c.text.EndResponse(id)
|
||||||
|
|
||||||
|
_, _, err = c.text.ReadCodeLine(110)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
lines, err := c.text.ReadDotLines()
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
_, _, err = c.text.ReadCodeLine(250)
|
||||||
|
|
||||||
|
dicts := make([]Dict, len(lines))
|
||||||
|
for i := range dicts {
|
||||||
|
d := &dicts[i]
|
||||||
|
a, _ := fields(lines[i])
|
||||||
|
if len(a) < 2 {
|
||||||
|
return nil, textproto.ProtocolError("invalid dictionary: " + lines[i])
|
||||||
|
}
|
||||||
|
d.Name = a[0]
|
||||||
|
d.Desc = a[1]
|
||||||
|
}
|
||||||
|
return dicts, err
|
||||||
|
}
|
||||||
|
|
||||||
|
// A Defn represents a definition.
|
||||||
|
type Defn struct {
|
||||||
|
Dict Dict // Dict where definition was found
|
||||||
|
Word string // Word being defined
|
||||||
|
Text []byte // Definition text, typically multiple lines
|
||||||
|
}
|
||||||
|
|
||||||
|
// Define requests the definition of the given word.
|
||||||
|
// The argument dict names the dictionary to use,
|
||||||
|
// the Name field of a Dict returned by Dicts.
|
||||||
|
//
|
||||||
|
// The special dictionary name "*" means to look in all the
|
||||||
|
// server's dictionaries.
|
||||||
|
// The special dictionary name "!" means to look in all the
|
||||||
|
// server's dictionaries in turn, stopping after finding the word
|
||||||
|
// in one of them.
|
||||||
|
func (c *Client) Define(dict, word string) ([]*Defn, error) {
|
||||||
|
id, err := c.text.Cmd("DEFINE %s %q", dict, word)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
c.text.StartResponse(id)
|
||||||
|
defer c.text.EndResponse(id)
|
||||||
|
|
||||||
|
_, line, err := c.text.ReadCodeLine(150)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
a, _ := fields(line)
|
||||||
|
if len(a) < 1 {
|
||||||
|
return nil, textproto.ProtocolError("malformed response: " + line)
|
||||||
|
}
|
||||||
|
n, err := strconv.Atoi(a[0])
|
||||||
|
if err != nil {
|
||||||
|
return nil, textproto.ProtocolError("invalid definition count: " + a[0])
|
||||||
|
}
|
||||||
|
def := make([]*Defn, n)
|
||||||
|
for i := 0; i < n; i++ {
|
||||||
|
_, line, err = c.text.ReadCodeLine(151)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
a, _ := fields(line)
|
||||||
|
if len(a) < 3 {
|
||||||
|
// skip it, to keep protocol in sync
|
||||||
|
i--
|
||||||
|
n--
|
||||||
|
def = def[0:n]
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
d := &Defn{Word: a[0], Dict: Dict{a[1], a[2]}}
|
||||||
|
d.Text, err = c.text.ReadDotBytes()
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
def[i] = d
|
||||||
|
}
|
||||||
|
_, _, err = c.text.ReadCodeLine(250)
|
||||||
|
return def, err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Fields returns the fields in s.
|
||||||
|
// Fields are space separated unquoted words
|
||||||
|
// or quoted with single or double quote.
|
||||||
|
func fields(s string) ([]string, error) {
|
||||||
|
var v []string
|
||||||
|
i := 0
|
||||||
|
for {
|
||||||
|
for i < len(s) && (s[i] == ' ' || s[i] == '\t') {
|
||||||
|
i++
|
||||||
|
}
|
||||||
|
if i >= len(s) {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if s[i] == '"' || s[i] == '\'' {
|
||||||
|
q := s[i]
|
||||||
|
// quoted string
|
||||||
|
var j int
|
||||||
|
for j = i + 1; ; j++ {
|
||||||
|
if j >= len(s) {
|
||||||
|
return nil, textproto.ProtocolError("malformed quoted string")
|
||||||
|
}
|
||||||
|
if s[j] == '\\' {
|
||||||
|
j++
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if s[j] == q {
|
||||||
|
j++
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
v = append(v, unquote(s[i+1:j-1]))
|
||||||
|
i = j
|
||||||
|
} else {
|
||||||
|
// atom
|
||||||
|
var j int
|
||||||
|
for j = i; j < len(s); j++ {
|
||||||
|
if s[j] == ' ' || s[j] == '\t' || s[j] == '\\' || s[j] == '"' || s[j] == '\'' {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
v = append(v, s[i:j])
|
||||||
|
i = j
|
||||||
|
}
|
||||||
|
if i < len(s) {
|
||||||
|
c := s[i]
|
||||||
|
if c != ' ' && c != '\t' {
|
||||||
|
return nil, textproto.ProtocolError("quotes not on word boundaries")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return v, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func unquote(s string) string {
|
||||||
|
if strings.Index(s, "\\") < 0 {
|
||||||
|
return s
|
||||||
|
}
|
||||||
|
b := []byte(s)
|
||||||
|
w := 0
|
||||||
|
for r := 0; r < len(b); r++ {
|
||||||
|
c := b[r]
|
||||||
|
if c == '\\' {
|
||||||
|
r++
|
||||||
|
c = b[r]
|
||||||
|
}
|
||||||
|
b[w] = c
|
||||||
|
w++
|
||||||
|
}
|
||||||
|
return string(b[0:w])
|
||||||
|
}
|
|
@ -0,0 +1,132 @@
|
||||||
|
// Copyright 2017 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package dnsmessage_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"net"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"golang.org/x/net/dns/dnsmessage"
|
||||||
|
)
|
||||||
|
|
||||||
|
func mustNewName(name string) dnsmessage.Name {
|
||||||
|
n, err := dnsmessage.NewName(name)
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
return n
|
||||||
|
}
|
||||||
|
|
||||||
|
func ExampleParser() {
|
||||||
|
msg := dnsmessage.Message{
|
||||||
|
Header: dnsmessage.Header{Response: true, Authoritative: true},
|
||||||
|
Questions: []dnsmessage.Question{
|
||||||
|
{
|
||||||
|
Name: mustNewName("foo.bar.example.com."),
|
||||||
|
Type: dnsmessage.TypeA,
|
||||||
|
Class: dnsmessage.ClassINET,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
Name: mustNewName("bar.example.com."),
|
||||||
|
Type: dnsmessage.TypeA,
|
||||||
|
Class: dnsmessage.ClassINET,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
Answers: []dnsmessage.Resource{
|
||||||
|
{
|
||||||
|
dnsmessage.ResourceHeader{
|
||||||
|
Name: mustNewName("foo.bar.example.com."),
|
||||||
|
Type: dnsmessage.TypeA,
|
||||||
|
Class: dnsmessage.ClassINET,
|
||||||
|
},
|
||||||
|
&dnsmessage.AResource{[4]byte{127, 0, 0, 1}},
|
||||||
|
},
|
||||||
|
{
|
||||||
|
dnsmessage.ResourceHeader{
|
||||||
|
Name: mustNewName("bar.example.com."),
|
||||||
|
Type: dnsmessage.TypeA,
|
||||||
|
Class: dnsmessage.ClassINET,
|
||||||
|
},
|
||||||
|
&dnsmessage.AResource{[4]byte{127, 0, 0, 2}},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
buf, err := msg.Pack()
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
wantName := "bar.example.com."
|
||||||
|
|
||||||
|
var p dnsmessage.Parser
|
||||||
|
if _, err := p.Start(buf); err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
for {
|
||||||
|
q, err := p.Question()
|
||||||
|
if err == dnsmessage.ErrSectionDone {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if q.Name.String() != wantName {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
fmt.Println("Found question for name", wantName)
|
||||||
|
if err := p.SkipAllQuestions(); err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
var gotIPs []net.IP
|
||||||
|
for {
|
||||||
|
h, err := p.AnswerHeader()
|
||||||
|
if err == dnsmessage.ErrSectionDone {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if (h.Type != dnsmessage.TypeA && h.Type != dnsmessage.TypeAAAA) || h.Class != dnsmessage.ClassINET {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if !strings.EqualFold(h.Name.String(), wantName) {
|
||||||
|
if err := p.SkipAnswer(); err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
switch h.Type {
|
||||||
|
case dnsmessage.TypeA:
|
||||||
|
r, err := p.AResource()
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
gotIPs = append(gotIPs, r.A[:])
|
||||||
|
case dnsmessage.TypeAAAA:
|
||||||
|
r, err := p.AAAAResource()
|
||||||
|
if err != nil {
|
||||||
|
panic(err)
|
||||||
|
}
|
||||||
|
gotIPs = append(gotIPs, r.AAAA[:])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
fmt.Printf("Found A/AAAA records for name %s: %v\n", wantName, gotIPs)
|
||||||
|
|
||||||
|
// Output:
|
||||||
|
// Found question for name bar.example.com.
|
||||||
|
// Found A/AAAA records for name bar.example.com.: [127.0.0.2]
|
||||||
|
}
|
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
|
@ -0,0 +1,78 @@
|
||||||
|
// Copyright 2012 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// Package atom provides integer codes (also known as atoms) for a fixed set of
|
||||||
|
// frequently occurring HTML strings: tag names and attribute keys such as "p"
|
||||||
|
// and "id".
|
||||||
|
//
|
||||||
|
// Sharing an atom's name between all elements with the same tag can result in
|
||||||
|
// fewer string allocations when tokenizing and parsing HTML. Integer
|
||||||
|
// comparisons are also generally faster than string comparisons.
|
||||||
|
//
|
||||||
|
// The value of an atom's particular code is not guaranteed to stay the same
|
||||||
|
// between versions of this package. Neither is any ordering guaranteed:
|
||||||
|
// whether atom.H1 < atom.H2 may also change. The codes are not guaranteed to
|
||||||
|
// be dense. The only guarantees are that e.g. looking up "div" will yield
|
||||||
|
// atom.Div, calling atom.Div.String will return "div", and atom.Div != 0.
|
||||||
|
package atom // import "golang.org/x/net/html/atom"
|
||||||
|
|
||||||
|
// Atom is an integer code for a string. The zero value maps to "".
|
||||||
|
type Atom uint32
|
||||||
|
|
||||||
|
// String returns the atom's name.
|
||||||
|
func (a Atom) String() string {
|
||||||
|
start := uint32(a >> 8)
|
||||||
|
n := uint32(a & 0xff)
|
||||||
|
if start+n > uint32(len(atomText)) {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
return atomText[start : start+n]
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a Atom) string() string {
|
||||||
|
return atomText[a>>8 : a>>8+a&0xff]
|
||||||
|
}
|
||||||
|
|
||||||
|
// fnv computes the FNV hash with an arbitrary starting value h.
|
||||||
|
func fnv(h uint32, s []byte) uint32 {
|
||||||
|
for i := range s {
|
||||||
|
h ^= uint32(s[i])
|
||||||
|
h *= 16777619
|
||||||
|
}
|
||||||
|
return h
|
||||||
|
}
|
||||||
|
|
||||||
|
func match(s string, t []byte) bool {
|
||||||
|
for i, c := range t {
|
||||||
|
if s[i] != c {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
// Lookup returns the atom whose name is s. It returns zero if there is no
|
||||||
|
// such atom. The lookup is case sensitive.
|
||||||
|
func Lookup(s []byte) Atom {
|
||||||
|
if len(s) == 0 || len(s) > maxAtomLen {
|
||||||
|
return 0
|
||||||
|
}
|
||||||
|
h := fnv(hash0, s)
|
||||||
|
if a := table[h&uint32(len(table)-1)]; int(a&0xff) == len(s) && match(a.string(), s) {
|
||||||
|
return a
|
||||||
|
}
|
||||||
|
if a := table[(h>>16)&uint32(len(table)-1)]; int(a&0xff) == len(s) && match(a.string(), s) {
|
||||||
|
return a
|
||||||
|
}
|
||||||
|
return 0
|
||||||
|
}
|
||||||
|
|
||||||
|
// String returns a string whose contents are equal to s. In that sense, it is
|
||||||
|
// equivalent to string(s) but may be more efficient.
|
||||||
|
func String(s []byte) string {
|
||||||
|
if a := Lookup(s); a != 0 {
|
||||||
|
return a.String()
|
||||||
|
}
|
||||||
|
return string(s)
|
||||||
|
}
|
|
@ -0,0 +1,109 @@
|
||||||
|
// Copyright 2012 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package atom
|
||||||
|
|
||||||
|
import (
|
||||||
|
"sort"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestKnown(t *testing.T) {
|
||||||
|
for _, s := range testAtomList {
|
||||||
|
if atom := Lookup([]byte(s)); atom.String() != s {
|
||||||
|
t.Errorf("Lookup(%q) = %#x (%q)", s, uint32(atom), atom.String())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestHits(t *testing.T) {
|
||||||
|
for _, a := range table {
|
||||||
|
if a == 0 {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
got := Lookup([]byte(a.String()))
|
||||||
|
if got != a {
|
||||||
|
t.Errorf("Lookup(%q) = %#x, want %#x", a.String(), uint32(got), uint32(a))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestMisses(t *testing.T) {
|
||||||
|
testCases := []string{
|
||||||
|
"",
|
||||||
|
"\x00",
|
||||||
|
"\xff",
|
||||||
|
"A",
|
||||||
|
"DIV",
|
||||||
|
"Div",
|
||||||
|
"dIV",
|
||||||
|
"aa",
|
||||||
|
"a\x00",
|
||||||
|
"ab",
|
||||||
|
"abb",
|
||||||
|
"abbr0",
|
||||||
|
"abbr ",
|
||||||
|
" abbr",
|
||||||
|
" a",
|
||||||
|
"acceptcharset",
|
||||||
|
"acceptCharset",
|
||||||
|
"accept_charset",
|
||||||
|
"h0",
|
||||||
|
"h1h2",
|
||||||
|
"h7",
|
||||||
|
"onClick",
|
||||||
|
"λ",
|
||||||
|
// The following string has the same hash (0xa1d7fab7) as "onmouseover".
|
||||||
|
"\x00\x00\x00\x00\x00\x50\x18\xae\x38\xd0\xb7",
|
||||||
|
}
|
||||||
|
for _, tc := range testCases {
|
||||||
|
got := Lookup([]byte(tc))
|
||||||
|
if got != 0 {
|
||||||
|
t.Errorf("Lookup(%q): got %d, want 0", tc, got)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestForeignObject(t *testing.T) {
|
||||||
|
const (
|
||||||
|
afo = Foreignobject
|
||||||
|
afO = ForeignObject
|
||||||
|
sfo = "foreignobject"
|
||||||
|
sfO = "foreignObject"
|
||||||
|
)
|
||||||
|
if got := Lookup([]byte(sfo)); got != afo {
|
||||||
|
t.Errorf("Lookup(%q): got %#v, want %#v", sfo, got, afo)
|
||||||
|
}
|
||||||
|
if got := Lookup([]byte(sfO)); got != afO {
|
||||||
|
t.Errorf("Lookup(%q): got %#v, want %#v", sfO, got, afO)
|
||||||
|
}
|
||||||
|
if got := afo.String(); got != sfo {
|
||||||
|
t.Errorf("Atom(%#v).String(): got %q, want %q", afo, got, sfo)
|
||||||
|
}
|
||||||
|
if got := afO.String(); got != sfO {
|
||||||
|
t.Errorf("Atom(%#v).String(): got %q, want %q", afO, got, sfO)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func BenchmarkLookup(b *testing.B) {
|
||||||
|
sortedTable := make([]string, 0, len(table))
|
||||||
|
for _, a := range table {
|
||||||
|
if a != 0 {
|
||||||
|
sortedTable = append(sortedTable, a.String())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
sort.Strings(sortedTable)
|
||||||
|
|
||||||
|
x := make([][]byte, 1000)
|
||||||
|
for i := range x {
|
||||||
|
x[i] = []byte(sortedTable[i%len(sortedTable)])
|
||||||
|
}
|
||||||
|
|
||||||
|
b.ResetTimer()
|
||||||
|
for i := 0; i < b.N; i++ {
|
||||||
|
for _, s := range x {
|
||||||
|
Lookup(s)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,709 @@
|
||||||
|
// Copyright 2012 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build ignore
|
||||||
|
|
||||||
|
//go:generate go run gen.go
|
||||||
|
//go:generate go run gen.go -test
|
||||||
|
|
||||||
|
package main
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"flag"
|
||||||
|
"fmt"
|
||||||
|
"go/format"
|
||||||
|
"io/ioutil"
|
||||||
|
"math/rand"
|
||||||
|
"os"
|
||||||
|
"sort"
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
// identifier converts s to a Go exported identifier.
|
||||||
|
// It converts "div" to "Div" and "accept-charset" to "AcceptCharset".
|
||||||
|
func identifier(s string) string {
|
||||||
|
b := make([]byte, 0, len(s))
|
||||||
|
cap := true
|
||||||
|
for _, c := range s {
|
||||||
|
if c == '-' {
|
||||||
|
cap = true
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if cap && 'a' <= c && c <= 'z' {
|
||||||
|
c -= 'a' - 'A'
|
||||||
|
}
|
||||||
|
cap = false
|
||||||
|
b = append(b, byte(c))
|
||||||
|
}
|
||||||
|
return string(b)
|
||||||
|
}
|
||||||
|
|
||||||
|
var test = flag.Bool("test", false, "generate table_test.go")
|
||||||
|
|
||||||
|
func genFile(name string, buf *bytes.Buffer) {
|
||||||
|
b, err := format.Source(buf.Bytes())
|
||||||
|
if err != nil {
|
||||||
|
fmt.Fprintln(os.Stderr, err)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
if err := ioutil.WriteFile(name, b, 0644); err != nil {
|
||||||
|
fmt.Fprintln(os.Stderr, err)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func main() {
|
||||||
|
flag.Parse()
|
||||||
|
|
||||||
|
var all []string
|
||||||
|
all = append(all, elements...)
|
||||||
|
all = append(all, attributes...)
|
||||||
|
all = append(all, eventHandlers...)
|
||||||
|
all = append(all, extra...)
|
||||||
|
sort.Strings(all)
|
||||||
|
|
||||||
|
// uniq - lists have dups
|
||||||
|
w := 0
|
||||||
|
for _, s := range all {
|
||||||
|
if w == 0 || all[w-1] != s {
|
||||||
|
all[w] = s
|
||||||
|
w++
|
||||||
|
}
|
||||||
|
}
|
||||||
|
all = all[:w]
|
||||||
|
|
||||||
|
if *test {
|
||||||
|
var buf bytes.Buffer
|
||||||
|
fmt.Fprintln(&buf, "// Code generated by go generate gen.go; DO NOT EDIT.\n")
|
||||||
|
fmt.Fprintln(&buf, "//go:generate go run gen.go -test\n")
|
||||||
|
fmt.Fprintln(&buf, "package atom\n")
|
||||||
|
fmt.Fprintln(&buf, "var testAtomList = []string{")
|
||||||
|
for _, s := range all {
|
||||||
|
fmt.Fprintf(&buf, "\t%q,\n", s)
|
||||||
|
}
|
||||||
|
fmt.Fprintln(&buf, "}")
|
||||||
|
|
||||||
|
genFile("table_test.go", &buf)
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// Find hash that minimizes table size.
|
||||||
|
var best *table
|
||||||
|
for i := 0; i < 1000000; i++ {
|
||||||
|
if best != nil && 1<<(best.k-1) < len(all) {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
h := rand.Uint32()
|
||||||
|
for k := uint(0); k <= 16; k++ {
|
||||||
|
if best != nil && k >= best.k {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
var t table
|
||||||
|
if t.init(h, k, all) {
|
||||||
|
best = &t
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if best == nil {
|
||||||
|
fmt.Fprintf(os.Stderr, "failed to construct string table\n")
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Lay out strings, using overlaps when possible.
|
||||||
|
layout := append([]string{}, all...)
|
||||||
|
|
||||||
|
// Remove strings that are substrings of other strings
|
||||||
|
for changed := true; changed; {
|
||||||
|
changed = false
|
||||||
|
for i, s := range layout {
|
||||||
|
if s == "" {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
for j, t := range layout {
|
||||||
|
if i != j && t != "" && strings.Contains(s, t) {
|
||||||
|
changed = true
|
||||||
|
layout[j] = ""
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Join strings where one suffix matches another prefix.
|
||||||
|
for {
|
||||||
|
// Find best i, j, k such that layout[i][len-k:] == layout[j][:k],
|
||||||
|
// maximizing overlap length k.
|
||||||
|
besti := -1
|
||||||
|
bestj := -1
|
||||||
|
bestk := 0
|
||||||
|
for i, s := range layout {
|
||||||
|
if s == "" {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
for j, t := range layout {
|
||||||
|
if i == j {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
for k := bestk + 1; k <= len(s) && k <= len(t); k++ {
|
||||||
|
if s[len(s)-k:] == t[:k] {
|
||||||
|
besti = i
|
||||||
|
bestj = j
|
||||||
|
bestk = k
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if bestk > 0 {
|
||||||
|
layout[besti] += layout[bestj][bestk:]
|
||||||
|
layout[bestj] = ""
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
text := strings.Join(layout, "")
|
||||||
|
|
||||||
|
atom := map[string]uint32{}
|
||||||
|
for _, s := range all {
|
||||||
|
off := strings.Index(text, s)
|
||||||
|
if off < 0 {
|
||||||
|
panic("lost string " + s)
|
||||||
|
}
|
||||||
|
atom[s] = uint32(off<<8 | len(s))
|
||||||
|
}
|
||||||
|
|
||||||
|
var buf bytes.Buffer
|
||||||
|
// Generate the Go code.
|
||||||
|
fmt.Fprintln(&buf, "// Code generated by go generate gen.go; DO NOT EDIT.\n")
|
||||||
|
fmt.Fprintln(&buf, "//go:generate go run gen.go\n")
|
||||||
|
fmt.Fprintln(&buf, "package atom\n\nconst (")
|
||||||
|
|
||||||
|
// compute max len
|
||||||
|
maxLen := 0
|
||||||
|
for _, s := range all {
|
||||||
|
if maxLen < len(s) {
|
||||||
|
maxLen = len(s)
|
||||||
|
}
|
||||||
|
fmt.Fprintf(&buf, "\t%s Atom = %#x\n", identifier(s), atom[s])
|
||||||
|
}
|
||||||
|
fmt.Fprintln(&buf, ")\n")
|
||||||
|
|
||||||
|
fmt.Fprintf(&buf, "const hash0 = %#x\n\n", best.h0)
|
||||||
|
fmt.Fprintf(&buf, "const maxAtomLen = %d\n\n", maxLen)
|
||||||
|
|
||||||
|
fmt.Fprintf(&buf, "var table = [1<<%d]Atom{\n", best.k)
|
||||||
|
for i, s := range best.tab {
|
||||||
|
if s == "" {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
fmt.Fprintf(&buf, "\t%#x: %#x, // %s\n", i, atom[s], s)
|
||||||
|
}
|
||||||
|
fmt.Fprintf(&buf, "}\n")
|
||||||
|
datasize := (1 << best.k) * 4
|
||||||
|
|
||||||
|
fmt.Fprintln(&buf, "const atomText =")
|
||||||
|
textsize := len(text)
|
||||||
|
for len(text) > 60 {
|
||||||
|
fmt.Fprintf(&buf, "\t%q +\n", text[:60])
|
||||||
|
text = text[60:]
|
||||||
|
}
|
||||||
|
fmt.Fprintf(&buf, "\t%q\n\n", text)
|
||||||
|
|
||||||
|
genFile("table.go", &buf)
|
||||||
|
|
||||||
|
fmt.Fprintf(os.Stdout, "%d atoms; %d string bytes + %d tables = %d total data\n", len(all), textsize, datasize, textsize+datasize)
|
||||||
|
}
|
||||||
|
|
||||||
|
type byLen []string
|
||||||
|
|
||||||
|
func (x byLen) Less(i, j int) bool { return len(x[i]) > len(x[j]) }
|
||||||
|
func (x byLen) Swap(i, j int) { x[i], x[j] = x[j], x[i] }
|
||||||
|
func (x byLen) Len() int { return len(x) }
|
||||||
|
|
||||||
|
// fnv computes the FNV hash with an arbitrary starting value h.
|
||||||
|
func fnv(h uint32, s string) uint32 {
|
||||||
|
for i := 0; i < len(s); i++ {
|
||||||
|
h ^= uint32(s[i])
|
||||||
|
h *= 16777619
|
||||||
|
}
|
||||||
|
return h
|
||||||
|
}
|
||||||
|
|
||||||
|
// A table represents an attempt at constructing the lookup table.
|
||||||
|
// The lookup table uses cuckoo hashing, meaning that each string
|
||||||
|
// can be found in one of two positions.
|
||||||
|
type table struct {
|
||||||
|
h0 uint32
|
||||||
|
k uint
|
||||||
|
mask uint32
|
||||||
|
tab []string
|
||||||
|
}
|
||||||
|
|
||||||
|
// hash returns the two hashes for s.
|
||||||
|
func (t *table) hash(s string) (h1, h2 uint32) {
|
||||||
|
h := fnv(t.h0, s)
|
||||||
|
h1 = h & t.mask
|
||||||
|
h2 = (h >> 16) & t.mask
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// init initializes the table with the given parameters.
|
||||||
|
// h0 is the initial hash value,
|
||||||
|
// k is the number of bits of hash value to use, and
|
||||||
|
// x is the list of strings to store in the table.
|
||||||
|
// init returns false if the table cannot be constructed.
|
||||||
|
func (t *table) init(h0 uint32, k uint, x []string) bool {
|
||||||
|
t.h0 = h0
|
||||||
|
t.k = k
|
||||||
|
t.tab = make([]string, 1<<k)
|
||||||
|
t.mask = 1<<k - 1
|
||||||
|
for _, s := range x {
|
||||||
|
if !t.insert(s) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
// insert inserts s in the table.
|
||||||
|
func (t *table) insert(s string) bool {
|
||||||
|
h1, h2 := t.hash(s)
|
||||||
|
if t.tab[h1] == "" {
|
||||||
|
t.tab[h1] = s
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
if t.tab[h2] == "" {
|
||||||
|
t.tab[h2] = s
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
if t.push(h1, 0) {
|
||||||
|
t.tab[h1] = s
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
if t.push(h2, 0) {
|
||||||
|
t.tab[h2] = s
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
// push attempts to push aside the entry in slot i.
|
||||||
|
func (t *table) push(i uint32, depth int) bool {
|
||||||
|
if depth > len(t.tab) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
s := t.tab[i]
|
||||||
|
h1, h2 := t.hash(s)
|
||||||
|
j := h1 + h2 - i
|
||||||
|
if t.tab[j] != "" && !t.push(j, depth+1) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
t.tab[j] = s
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
|
||||||
|
// The lists of element names and attribute keys were taken from
|
||||||
|
// https://html.spec.whatwg.org/multipage/indices.html#index
|
||||||
|
// as of the "HTML Living Standard - Last Updated 18 September 2017" version.
|
||||||
|
|
||||||
|
// "command", "keygen" and "menuitem" have been removed from the spec,
|
||||||
|
// but are kept here for backwards compatibility.
|
||||||
|
var elements = []string{
|
||||||
|
"a",
|
||||||
|
"abbr",
|
||||||
|
"address",
|
||||||
|
"area",
|
||||||
|
"article",
|
||||||
|
"aside",
|
||||||
|
"audio",
|
||||||
|
"b",
|
||||||
|
"base",
|
||||||
|
"bdi",
|
||||||
|
"bdo",
|
||||||
|
"blockquote",
|
||||||
|
"body",
|
||||||
|
"br",
|
||||||
|
"button",
|
||||||
|
"canvas",
|
||||||
|
"caption",
|
||||||
|
"cite",
|
||||||
|
"code",
|
||||||
|
"col",
|
||||||
|
"colgroup",
|
||||||
|
"command",
|
||||||
|
"data",
|
||||||
|
"datalist",
|
||||||
|
"dd",
|
||||||
|
"del",
|
||||||
|
"details",
|
||||||
|
"dfn",
|
||||||
|
"dialog",
|
||||||
|
"div",
|
||||||
|
"dl",
|
||||||
|
"dt",
|
||||||
|
"em",
|
||||||
|
"embed",
|
||||||
|
"fieldset",
|
||||||
|
"figcaption",
|
||||||
|
"figure",
|
||||||
|
"footer",
|
||||||
|
"form",
|
||||||
|
"h1",
|
||||||
|
"h2",
|
||||||
|
"h3",
|
||||||
|
"h4",
|
||||||
|
"h5",
|
||||||
|
"h6",
|
||||||
|
"head",
|
||||||
|
"header",
|
||||||
|
"hgroup",
|
||||||
|
"hr",
|
||||||
|
"html",
|
||||||
|
"i",
|
||||||
|
"iframe",
|
||||||
|
"img",
|
||||||
|
"input",
|
||||||
|
"ins",
|
||||||
|
"kbd",
|
||||||
|
"keygen",
|
||||||
|
"label",
|
||||||
|
"legend",
|
||||||
|
"li",
|
||||||
|
"link",
|
||||||
|
"main",
|
||||||
|
"map",
|
||||||
|
"mark",
|
||||||
|
"menu",
|
||||||
|
"menuitem",
|
||||||
|
"meta",
|
||||||
|
"meter",
|
||||||
|
"nav",
|
||||||
|
"noscript",
|
||||||
|
"object",
|
||||||
|
"ol",
|
||||||
|
"optgroup",
|
||||||
|
"option",
|
||||||
|
"output",
|
||||||
|
"p",
|
||||||
|
"param",
|
||||||
|
"picture",
|
||||||
|
"pre",
|
||||||
|
"progress",
|
||||||
|
"q",
|
||||||
|
"rp",
|
||||||
|
"rt",
|
||||||
|
"ruby",
|
||||||
|
"s",
|
||||||
|
"samp",
|
||||||
|
"script",
|
||||||
|
"section",
|
||||||
|
"select",
|
||||||
|
"slot",
|
||||||
|
"small",
|
||||||
|
"source",
|
||||||
|
"span",
|
||||||
|
"strong",
|
||||||
|
"style",
|
||||||
|
"sub",
|
||||||
|
"summary",
|
||||||
|
"sup",
|
||||||
|
"table",
|
||||||
|
"tbody",
|
||||||
|
"td",
|
||||||
|
"template",
|
||||||
|
"textarea",
|
||||||
|
"tfoot",
|
||||||
|
"th",
|
||||||
|
"thead",
|
||||||
|
"time",
|
||||||
|
"title",
|
||||||
|
"tr",
|
||||||
|
"track",
|
||||||
|
"u",
|
||||||
|
"ul",
|
||||||
|
"var",
|
||||||
|
"video",
|
||||||
|
"wbr",
|
||||||
|
}
|
||||||
|
|
||||||
|
// https://html.spec.whatwg.org/multipage/indices.html#attributes-3
|
||||||
|
//
|
||||||
|
// "challenge", "command", "contextmenu", "dropzone", "icon", "keytype", "mediagroup",
|
||||||
|
// "radiogroup", "spellcheck", "scoped", "seamless", "sortable" and "sorted" have been removed from the spec,
|
||||||
|
// but are kept here for backwards compatibility.
|
||||||
|
var attributes = []string{
|
||||||
|
"abbr",
|
||||||
|
"accept",
|
||||||
|
"accept-charset",
|
||||||
|
"accesskey",
|
||||||
|
"action",
|
||||||
|
"allowfullscreen",
|
||||||
|
"allowpaymentrequest",
|
||||||
|
"allowusermedia",
|
||||||
|
"alt",
|
||||||
|
"as",
|
||||||
|
"async",
|
||||||
|
"autocomplete",
|
||||||
|
"autofocus",
|
||||||
|
"autoplay",
|
||||||
|
"challenge",
|
||||||
|
"charset",
|
||||||
|
"checked",
|
||||||
|
"cite",
|
||||||
|
"class",
|
||||||
|
"color",
|
||||||
|
"cols",
|
||||||
|
"colspan",
|
||||||
|
"command",
|
||||||
|
"content",
|
||||||
|
"contenteditable",
|
||||||
|
"contextmenu",
|
||||||
|
"controls",
|
||||||
|
"coords",
|
||||||
|
"crossorigin",
|
||||||
|
"data",
|
||||||
|
"datetime",
|
||||||
|
"default",
|
||||||
|
"defer",
|
||||||
|
"dir",
|
||||||
|
"dirname",
|
||||||
|
"disabled",
|
||||||
|
"download",
|
||||||
|
"draggable",
|
||||||
|
"dropzone",
|
||||||
|
"enctype",
|
||||||
|
"for",
|
||||||
|
"form",
|
||||||
|
"formaction",
|
||||||
|
"formenctype",
|
||||||
|
"formmethod",
|
||||||
|
"formnovalidate",
|
||||||
|
"formtarget",
|
||||||
|
"headers",
|
||||||
|
"height",
|
||||||
|
"hidden",
|
||||||
|
"high",
|
||||||
|
"href",
|
||||||
|
"hreflang",
|
||||||
|
"http-equiv",
|
||||||
|
"icon",
|
||||||
|
"id",
|
||||||
|
"inputmode",
|
||||||
|
"integrity",
|
||||||
|
"is",
|
||||||
|
"ismap",
|
||||||
|
"itemid",
|
||||||
|
"itemprop",
|
||||||
|
"itemref",
|
||||||
|
"itemscope",
|
||||||
|
"itemtype",
|
||||||
|
"keytype",
|
||||||
|
"kind",
|
||||||
|
"label",
|
||||||
|
"lang",
|
||||||
|
"list",
|
||||||
|
"loop",
|
||||||
|
"low",
|
||||||
|
"manifest",
|
||||||
|
"max",
|
||||||
|
"maxlength",
|
||||||
|
"media",
|
||||||
|
"mediagroup",
|
||||||
|
"method",
|
||||||
|
"min",
|
||||||
|
"minlength",
|
||||||
|
"multiple",
|
||||||
|
"muted",
|
||||||
|
"name",
|
||||||
|
"nomodule",
|
||||||
|
"nonce",
|
||||||
|
"novalidate",
|
||||||
|
"open",
|
||||||
|
"optimum",
|
||||||
|
"pattern",
|
||||||
|
"ping",
|
||||||
|
"placeholder",
|
||||||
|
"playsinline",
|
||||||
|
"poster",
|
||||||
|
"preload",
|
||||||
|
"radiogroup",
|
||||||
|
"readonly",
|
||||||
|
"referrerpolicy",
|
||||||
|
"rel",
|
||||||
|
"required",
|
||||||
|
"reversed",
|
||||||
|
"rows",
|
||||||
|
"rowspan",
|
||||||
|
"sandbox",
|
||||||
|
"spellcheck",
|
||||||
|
"scope",
|
||||||
|
"scoped",
|
||||||
|
"seamless",
|
||||||
|
"selected",
|
||||||
|
"shape",
|
||||||
|
"size",
|
||||||
|
"sizes",
|
||||||
|
"sortable",
|
||||||
|
"sorted",
|
||||||
|
"slot",
|
||||||
|
"span",
|
||||||
|
"spellcheck",
|
||||||
|
"src",
|
||||||
|
"srcdoc",
|
||||||
|
"srclang",
|
||||||
|
"srcset",
|
||||||
|
"start",
|
||||||
|
"step",
|
||||||
|
"style",
|
||||||
|
"tabindex",
|
||||||
|
"target",
|
||||||
|
"title",
|
||||||
|
"translate",
|
||||||
|
"type",
|
||||||
|
"typemustmatch",
|
||||||
|
"updateviacache",
|
||||||
|
"usemap",
|
||||||
|
"value",
|
||||||
|
"width",
|
||||||
|
"workertype",
|
||||||
|
"wrap",
|
||||||
|
}
|
||||||
|
|
||||||
|
// "onautocomplete", "onautocompleteerror", "onmousewheel",
|
||||||
|
// "onshow" and "onsort" have been removed from the spec,
|
||||||
|
// but are kept here for backwards compatibility.
|
||||||
|
var eventHandlers = []string{
|
||||||
|
"onabort",
|
||||||
|
"onautocomplete",
|
||||||
|
"onautocompleteerror",
|
||||||
|
"onauxclick",
|
||||||
|
"onafterprint",
|
||||||
|
"onbeforeprint",
|
||||||
|
"onbeforeunload",
|
||||||
|
"onblur",
|
||||||
|
"oncancel",
|
||||||
|
"oncanplay",
|
||||||
|
"oncanplaythrough",
|
||||||
|
"onchange",
|
||||||
|
"onclick",
|
||||||
|
"onclose",
|
||||||
|
"oncontextmenu",
|
||||||
|
"oncopy",
|
||||||
|
"oncuechange",
|
||||||
|
"oncut",
|
||||||
|
"ondblclick",
|
||||||
|
"ondrag",
|
||||||
|
"ondragend",
|
||||||
|
"ondragenter",
|
||||||
|
"ondragexit",
|
||||||
|
"ondragleave",
|
||||||
|
"ondragover",
|
||||||
|
"ondragstart",
|
||||||
|
"ondrop",
|
||||||
|
"ondurationchange",
|
||||||
|
"onemptied",
|
||||||
|
"onended",
|
||||||
|
"onerror",
|
||||||
|
"onfocus",
|
||||||
|
"onhashchange",
|
||||||
|
"oninput",
|
||||||
|
"oninvalid",
|
||||||
|
"onkeydown",
|
||||||
|
"onkeypress",
|
||||||
|
"onkeyup",
|
||||||
|
"onlanguagechange",
|
||||||
|
"onload",
|
||||||
|
"onloadeddata",
|
||||||
|
"onloadedmetadata",
|
||||||
|
"onloadend",
|
||||||
|
"onloadstart",
|
||||||
|
"onmessage",
|
||||||
|
"onmessageerror",
|
||||||
|
"onmousedown",
|
||||||
|
"onmouseenter",
|
||||||
|
"onmouseleave",
|
||||||
|
"onmousemove",
|
||||||
|
"onmouseout",
|
||||||
|
"onmouseover",
|
||||||
|
"onmouseup",
|
||||||
|
"onmousewheel",
|
||||||
|
"onwheel",
|
||||||
|
"onoffline",
|
||||||
|
"ononline",
|
||||||
|
"onpagehide",
|
||||||
|
"onpageshow",
|
||||||
|
"onpaste",
|
||||||
|
"onpause",
|
||||||
|
"onplay",
|
||||||
|
"onplaying",
|
||||||
|
"onpopstate",
|
||||||
|
"onprogress",
|
||||||
|
"onratechange",
|
||||||
|
"onreset",
|
||||||
|
"onresize",
|
||||||
|
"onrejectionhandled",
|
||||||
|
"onscroll",
|
||||||
|
"onsecuritypolicyviolation",
|
||||||
|
"onseeked",
|
||||||
|
"onseeking",
|
||||||
|
"onselect",
|
||||||
|
"onshow",
|
||||||
|
"onsort",
|
||||||
|
"onstalled",
|
||||||
|
"onstorage",
|
||||||
|
"onsubmit",
|
||||||
|
"onsuspend",
|
||||||
|
"ontimeupdate",
|
||||||
|
"ontoggle",
|
||||||
|
"onunhandledrejection",
|
||||||
|
"onunload",
|
||||||
|
"onvolumechange",
|
||||||
|
"onwaiting",
|
||||||
|
}
|
||||||
|
|
||||||
|
// extra are ad-hoc values not covered by any of the lists above.
|
||||||
|
var extra = []string{
|
||||||
|
"align",
|
||||||
|
"annotation",
|
||||||
|
"annotation-xml",
|
||||||
|
"applet",
|
||||||
|
"basefont",
|
||||||
|
"bgsound",
|
||||||
|
"big",
|
||||||
|
"blink",
|
||||||
|
"center",
|
||||||
|
"color",
|
||||||
|
"desc",
|
||||||
|
"face",
|
||||||
|
"font",
|
||||||
|
"foreignObject", // HTML is case-insensitive, but SVG-embedded-in-HTML is case-sensitive.
|
||||||
|
"foreignobject",
|
||||||
|
"frame",
|
||||||
|
"frameset",
|
||||||
|
"image",
|
||||||
|
"isindex",
|
||||||
|
"listing",
|
||||||
|
"malignmark",
|
||||||
|
"marquee",
|
||||||
|
"math",
|
||||||
|
"mglyph",
|
||||||
|
"mi",
|
||||||
|
"mn",
|
||||||
|
"mo",
|
||||||
|
"ms",
|
||||||
|
"mtext",
|
||||||
|
"nobr",
|
||||||
|
"noembed",
|
||||||
|
"noframes",
|
||||||
|
"plaintext",
|
||||||
|
"prompt",
|
||||||
|
"public",
|
||||||
|
"spacer",
|
||||||
|
"strike",
|
||||||
|
"svg",
|
||||||
|
"system",
|
||||||
|
"tt",
|
||||||
|
"xmp",
|
||||||
|
}
|
|
@ -0,0 +1,777 @@
|
||||||
|
// Code generated by go generate gen.go; DO NOT EDIT.
|
||||||
|
|
||||||
|
//go:generate go run gen.go
|
||||||
|
|
||||||
|
package atom
|
||||||
|
|
||||||
|
const (
|
||||||
|
A Atom = 0x1
|
||||||
|
Abbr Atom = 0x4
|
||||||
|
Accept Atom = 0x1a06
|
||||||
|
AcceptCharset Atom = 0x1a0e
|
||||||
|
Accesskey Atom = 0x2c09
|
||||||
|
Action Atom = 0x25a06
|
||||||
|
Address Atom = 0x6ed07
|
||||||
|
Align Atom = 0x6d405
|
||||||
|
Allowfullscreen Atom = 0x1f00f
|
||||||
|
Allowpaymentrequest Atom = 0x6913
|
||||||
|
Allowusermedia Atom = 0x850e
|
||||||
|
Alt Atom = 0xb003
|
||||||
|
Annotation Atom = 0x1b90a
|
||||||
|
AnnotationXml Atom = 0x1b90e
|
||||||
|
Applet Atom = 0x30106
|
||||||
|
Area Atom = 0x34a04
|
||||||
|
Article Atom = 0x3f007
|
||||||
|
As Atom = 0xb902
|
||||||
|
Aside Atom = 0xc105
|
||||||
|
Async Atom = 0xb905
|
||||||
|
Audio Atom = 0xcf05
|
||||||
|
Autocomplete Atom = 0x2600c
|
||||||
|
Autofocus Atom = 0xeb09
|
||||||
|
Autoplay Atom = 0x10608
|
||||||
|
B Atom = 0x101
|
||||||
|
Base Atom = 0x11504
|
||||||
|
Basefont Atom = 0x11508
|
||||||
|
Bdi Atom = 0x16103
|
||||||
|
Bdo Atom = 0x13403
|
||||||
|
Bgsound Atom = 0x14707
|
||||||
|
Big Atom = 0x15903
|
||||||
|
Blink Atom = 0x15c05
|
||||||
|
Blockquote Atom = 0x1680a
|
||||||
|
Body Atom = 0x2804
|
||||||
|
Br Atom = 0x202
|
||||||
|
Button Atom = 0x17206
|
||||||
|
Canvas Atom = 0xbd06
|
||||||
|
Caption Atom = 0x21907
|
||||||
|
Center Atom = 0x20806
|
||||||
|
Challenge Atom = 0x28309
|
||||||
|
Charset Atom = 0x2107
|
||||||
|
Checked Atom = 0x46d07
|
||||||
|
Cite Atom = 0x55804
|
||||||
|
Class Atom = 0x5b905
|
||||||
|
Code Atom = 0x19004
|
||||||
|
Col Atom = 0x19703
|
||||||
|
Colgroup Atom = 0x19708
|
||||||
|
Color Atom = 0x1af05
|
||||||
|
Cols Atom = 0x1b404
|
||||||
|
Colspan Atom = 0x1b407
|
||||||
|
Command Atom = 0x1c707
|
||||||
|
Content Atom = 0x57f07
|
||||||
|
Contenteditable Atom = 0x57f0f
|
||||||
|
Contextmenu Atom = 0x3740b
|
||||||
|
Controls Atom = 0x1ce08
|
||||||
|
Coords Atom = 0x1da06
|
||||||
|
Crossorigin Atom = 0x1e30b
|
||||||
|
Data Atom = 0x49904
|
||||||
|
Datalist Atom = 0x49908
|
||||||
|
Datetime Atom = 0x2a008
|
||||||
|
Dd Atom = 0x2bf02
|
||||||
|
Default Atom = 0xc407
|
||||||
|
Defer Atom = 0x19205
|
||||||
|
Del Atom = 0x44603
|
||||||
|
Desc Atom = 0x55504
|
||||||
|
Details Atom = 0x4607
|
||||||
|
Dfn Atom = 0x5f03
|
||||||
|
Dialog Atom = 0x16206
|
||||||
|
Dir Atom = 0xa303
|
||||||
|
Dirname Atom = 0xa307
|
||||||
|
Disabled Atom = 0x14d08
|
||||||
|
Div Atom = 0x15403
|
||||||
|
Dl Atom = 0x5e202
|
||||||
|
Download Atom = 0x45708
|
||||||
|
Draggable Atom = 0x18309
|
||||||
|
Dropzone Atom = 0x3f908
|
||||||
|
Dt Atom = 0x64702
|
||||||
|
Em Atom = 0x4202
|
||||||
|
Embed Atom = 0x4205
|
||||||
|
Enctype Atom = 0x27507
|
||||||
|
Face Atom = 0x20604
|
||||||
|
Fieldset Atom = 0x20e08
|
||||||
|
Figcaption Atom = 0x2160a
|
||||||
|
Figure Atom = 0x23006
|
||||||
|
Font Atom = 0x11904
|
||||||
|
Footer Atom = 0xb306
|
||||||
|
For Atom = 0x23c03
|
||||||
|
ForeignObject Atom = 0x23c0d
|
||||||
|
Foreignobject Atom = 0x2490d
|
||||||
|
Form Atom = 0x25604
|
||||||
|
Formaction Atom = 0x2560a
|
||||||
|
Formenctype Atom = 0x2710b
|
||||||
|
Formmethod Atom = 0x28c0a
|
||||||
|
Formnovalidate Atom = 0x2960e
|
||||||
|
Formtarget Atom = 0x2a80a
|
||||||
|
Frame Atom = 0x5705
|
||||||
|
Frameset Atom = 0x5708
|
||||||
|
H1 Atom = 0x14502
|
||||||
|
H2 Atom = 0x2c602
|
||||||
|
H3 Atom = 0x2f502
|
||||||
|
H4 Atom = 0x33902
|
||||||
|
H5 Atom = 0x34302
|
||||||
|
H6 Atom = 0x64902
|
||||||
|
Head Atom = 0x32504
|
||||||
|
Header Atom = 0x32506
|
||||||
|
Headers Atom = 0x32507
|
||||||
|
Height Atom = 0x12c06
|
||||||
|
Hgroup Atom = 0x2b206
|
||||||
|
Hidden Atom = 0x2bd06
|
||||||
|
High Atom = 0x2c304
|
||||||
|
Hr Atom = 0x14002
|
||||||
|
Href Atom = 0x2c804
|
||||||
|
Hreflang Atom = 0x2c808
|
||||||
|
Html Atom = 0x13004
|
||||||
|
HttpEquiv Atom = 0x2d00a
|
||||||
|
I Atom = 0x601
|
||||||
|
Icon Atom = 0x57e04
|
||||||
|
Id Atom = 0xc302
|
||||||
|
Iframe Atom = 0x2e406
|
||||||
|
Image Atom = 0x2ea05
|
||||||
|
Img Atom = 0x2ef03
|
||||||
|
Input Atom = 0x43f05
|
||||||
|
Inputmode Atom = 0x43f09
|
||||||
|
Ins Atom = 0x1ec03
|
||||||
|
Integrity Atom = 0x22709
|
||||||
|
Is Atom = 0x14e02
|
||||||
|
Isindex Atom = 0x2f707
|
||||||
|
Ismap Atom = 0x2fe05
|
||||||
|
Itemid Atom = 0x37f06
|
||||||
|
Itemprop Atom = 0x55908
|
||||||
|
Itemref Atom = 0x3c107
|
||||||
|
Itemscope Atom = 0x66d09
|
||||||
|
Itemtype Atom = 0x30708
|
||||||
|
Kbd Atom = 0x16003
|
||||||
|
Keygen Atom = 0x3206
|
||||||
|
Keytype Atom = 0x7e07
|
||||||
|
Kind Atom = 0x18004
|
||||||
|
Label Atom = 0xda05
|
||||||
|
Lang Atom = 0x2cc04
|
||||||
|
Legend Atom = 0x18a06
|
||||||
|
Li Atom = 0x11102
|
||||||
|
Link Atom = 0x15d04
|
||||||
|
List Atom = 0x49d04
|
||||||
|
Listing Atom = 0x49d07
|
||||||
|
Loop Atom = 0xde04
|
||||||
|
Low Atom = 0x6b03
|
||||||
|
Main Atom = 0x1004
|
||||||
|
Malignmark Atom = 0x6d30a
|
||||||
|
Manifest Atom = 0x30f08
|
||||||
|
Map Atom = 0x30003
|
||||||
|
Mark Atom = 0x6d904
|
||||||
|
Marquee Atom = 0x31b07
|
||||||
|
Math Atom = 0x32204
|
||||||
|
Max Atom = 0x33103
|
||||||
|
Maxlength Atom = 0x33109
|
||||||
|
Media Atom = 0x8e05
|
||||||
|
Mediagroup Atom = 0x8e0a
|
||||||
|
Menu Atom = 0x37b04
|
||||||
|
Menuitem Atom = 0x37b08
|
||||||
|
Meta Atom = 0x4ac04
|
||||||
|
Meter Atom = 0xa805
|
||||||
|
Method Atom = 0x29006
|
||||||
|
Mglyph Atom = 0x2f006
|
||||||
|
Mi Atom = 0x33b02
|
||||||
|
Min Atom = 0x33b03
|
||||||
|
Minlength Atom = 0x33b09
|
||||||
|
Mn Atom = 0x29902
|
||||||
|
Mo Atom = 0x6302
|
||||||
|
Ms Atom = 0x67002
|
||||||
|
Mtext Atom = 0x34505
|
||||||
|
Multiple Atom = 0x35308
|
||||||
|
Muted Atom = 0x35b05
|
||||||
|
Name Atom = 0xa604
|
||||||
|
Nav Atom = 0x1303
|
||||||
|
Nobr Atom = 0x3704
|
||||||
|
Noembed Atom = 0x4007
|
||||||
|
Noframes Atom = 0x5508
|
||||||
|
Nomodule Atom = 0x6108
|
||||||
|
Nonce Atom = 0x56205
|
||||||
|
Noscript Atom = 0x1fe08
|
||||||
|
Novalidate Atom = 0x29a0a
|
||||||
|
Object Atom = 0x25006
|
||||||
|
Ol Atom = 0x10102
|
||||||
|
Onabort Atom = 0x17607
|
||||||
|
Onafterprint Atom = 0x21e0c
|
||||||
|
Onautocomplete Atom = 0x25e0e
|
||||||
|
Onautocompleteerror Atom = 0x25e13
|
||||||
|
Onauxclick Atom = 0x61b0a
|
||||||
|
Onbeforeprint Atom = 0x69a0d
|
||||||
|
Onbeforeunload Atom = 0x6e10e
|
||||||
|
Onblur Atom = 0x5c206
|
||||||
|
Oncancel Atom = 0xd308
|
||||||
|
Oncanplay Atom = 0x13609
|
||||||
|
Oncanplaythrough Atom = 0x13610
|
||||||
|
Onchange Atom = 0x40f08
|
||||||
|
Onclick Atom = 0x2dd07
|
||||||
|
Onclose Atom = 0x36007
|
||||||
|
Oncontextmenu Atom = 0x3720d
|
||||||
|
Oncopy Atom = 0x38506
|
||||||
|
Oncuechange Atom = 0x38b0b
|
||||||
|
Oncut Atom = 0x39605
|
||||||
|
Ondblclick Atom = 0x39b0a
|
||||||
|
Ondrag Atom = 0x3a506
|
||||||
|
Ondragend Atom = 0x3a509
|
||||||
|
Ondragenter Atom = 0x3ae0b
|
||||||
|
Ondragexit Atom = 0x3b90a
|
||||||
|
Ondragleave Atom = 0x3d30b
|
||||||
|
Ondragover Atom = 0x3de0a
|
||||||
|
Ondragstart Atom = 0x3e80b
|
||||||
|
Ondrop Atom = 0x3f706
|
||||||
|
Ondurationchange Atom = 0x40710
|
||||||
|
Onemptied Atom = 0x3fe09
|
||||||
|
Onended Atom = 0x41707
|
||||||
|
Onerror Atom = 0x41e07
|
||||||
|
Onfocus Atom = 0x42507
|
||||||
|
Onhashchange Atom = 0x4310c
|
||||||
|
Oninput Atom = 0x43d07
|
||||||
|
Oninvalid Atom = 0x44909
|
||||||
|
Onkeydown Atom = 0x45209
|
||||||
|
Onkeypress Atom = 0x45f0a
|
||||||
|
Onkeyup Atom = 0x47407
|
||||||
|
Onlanguagechange Atom = 0x48110
|
||||||
|
Onload Atom = 0x49106
|
||||||
|
Onloadeddata Atom = 0x4910c
|
||||||
|
Onloadedmetadata Atom = 0x4a410
|
||||||
|
Onloadend Atom = 0x4ba09
|
||||||
|
Onloadstart Atom = 0x4c30b
|
||||||
|
Onmessage Atom = 0x4ce09
|
||||||
|
Onmessageerror Atom = 0x4ce0e
|
||||||
|
Onmousedown Atom = 0x4dc0b
|
||||||
|
Onmouseenter Atom = 0x4e70c
|
||||||
|
Onmouseleave Atom = 0x4f30c
|
||||||
|
Onmousemove Atom = 0x4ff0b
|
||||||
|
Onmouseout Atom = 0x50a0a
|
||||||
|
Onmouseover Atom = 0x5170b
|
||||||
|
Onmouseup Atom = 0x52209
|
||||||
|
Onmousewheel Atom = 0x5300c
|
||||||
|
Onoffline Atom = 0x53c09
|
||||||
|
Ononline Atom = 0x54508
|
||||||
|
Onpagehide Atom = 0x54d0a
|
||||||
|
Onpageshow Atom = 0x5670a
|
||||||
|
Onpaste Atom = 0x57307
|
||||||
|
Onpause Atom = 0x58e07
|
||||||
|
Onplay Atom = 0x59806
|
||||||
|
Onplaying Atom = 0x59809
|
||||||
|
Onpopstate Atom = 0x5a10a
|
||||||
|
Onprogress Atom = 0x5ab0a
|
||||||
|
Onratechange Atom = 0x5c80c
|
||||||
|
Onrejectionhandled Atom = 0x5d412
|
||||||
|
Onreset Atom = 0x5e607
|
||||||
|
Onresize Atom = 0x5ed08
|
||||||
|
Onscroll Atom = 0x5fc08
|
||||||
|
Onsecuritypolicyviolation Atom = 0x60419
|
||||||
|
Onseeked Atom = 0x62508
|
||||||
|
Onseeking Atom = 0x62d09
|
||||||
|
Onselect Atom = 0x63608
|
||||||
|
Onshow Atom = 0x64006
|
||||||
|
Onsort Atom = 0x64b06
|
||||||
|
Onstalled Atom = 0x65509
|
||||||
|
Onstorage Atom = 0x65e09
|
||||||
|
Onsubmit Atom = 0x66708
|
||||||
|
Onsuspend Atom = 0x67709
|
||||||
|
Ontimeupdate Atom = 0x11a0c
|
||||||
|
Ontoggle Atom = 0x68008
|
||||||
|
Onunhandledrejection Atom = 0x68814
|
||||||
|
Onunload Atom = 0x6a708
|
||||||
|
Onvolumechange Atom = 0x6af0e
|
||||||
|
Onwaiting Atom = 0x6bd09
|
||||||
|
Onwheel Atom = 0x6c607
|
||||||
|
Open Atom = 0x55f04
|
||||||
|
Optgroup Atom = 0xe008
|
||||||
|
Optimum Atom = 0x6cd07
|
||||||
|
Option Atom = 0x6dd06
|
||||||
|
Output Atom = 0x51106
|
||||||
|
P Atom = 0xc01
|
||||||
|
Param Atom = 0xc05
|
||||||
|
Pattern Atom = 0x4f07
|
||||||
|
Picture Atom = 0x9707
|
||||||
|
Ping Atom = 0xe704
|
||||||
|
Placeholder Atom = 0xfb0b
|
||||||
|
Plaintext Atom = 0x19e09
|
||||||
|
Playsinline Atom = 0x10a0b
|
||||||
|
Poster Atom = 0x2b706
|
||||||
|
Pre Atom = 0x46403
|
||||||
|
Preload Atom = 0x47a07
|
||||||
|
Progress Atom = 0x5ad08
|
||||||
|
Prompt Atom = 0x52a06
|
||||||
|
Public Atom = 0x57a06
|
||||||
|
Q Atom = 0x7701
|
||||||
|
Radiogroup Atom = 0x30a
|
||||||
|
Readonly Atom = 0x34b08
|
||||||
|
Referrerpolicy Atom = 0x3c50e
|
||||||
|
Rel Atom = 0x47b03
|
||||||
|
Required Atom = 0x23408
|
||||||
|
Reversed Atom = 0x9c08
|
||||||
|
Rows Atom = 0x3a04
|
||||||
|
Rowspan Atom = 0x3a07
|
||||||
|
Rp Atom = 0x22402
|
||||||
|
Rt Atom = 0x17b02
|
||||||
|
Ruby Atom = 0xac04
|
||||||
|
S Atom = 0x2501
|
||||||
|
Samp Atom = 0x4c04
|
||||||
|
Sandbox Atom = 0xf307
|
||||||
|
Scope Atom = 0x67105
|
||||||
|
Scoped Atom = 0x67106
|
||||||
|
Script Atom = 0x20006
|
||||||
|
Seamless Atom = 0x36508
|
||||||
|
Section Atom = 0x5bd07
|
||||||
|
Select Atom = 0x63806
|
||||||
|
Selected Atom = 0x63808
|
||||||
|
Shape Atom = 0x1d505
|
||||||
|
Size Atom = 0x5f104
|
||||||
|
Sizes Atom = 0x5f105
|
||||||
|
Slot Atom = 0x1df04
|
||||||
|
Small Atom = 0x1ee05
|
||||||
|
Sortable Atom = 0x64d08
|
||||||
|
Sorted Atom = 0x32b06
|
||||||
|
Source Atom = 0x36c06
|
||||||
|
Spacer Atom = 0x42b06
|
||||||
|
Span Atom = 0x3d04
|
||||||
|
Spellcheck Atom = 0x4680a
|
||||||
|
Src Atom = 0x5b403
|
||||||
|
Srcdoc Atom = 0x5b406
|
||||||
|
Srclang Atom = 0x5f507
|
||||||
|
Srcset Atom = 0x6f306
|
||||||
|
Start Atom = 0x3ee05
|
||||||
|
Step Atom = 0x57704
|
||||||
|
Strike Atom = 0x7a06
|
||||||
|
Strong Atom = 0x31506
|
||||||
|
Style Atom = 0x6f905
|
||||||
|
Sub Atom = 0x66903
|
||||||
|
Summary Atom = 0x6fe07
|
||||||
|
Sup Atom = 0x70503
|
||||||
|
Svg Atom = 0x70803
|
||||||
|
System Atom = 0x70b06
|
||||||
|
Tabindex Atom = 0x4b208
|
||||||
|
Table Atom = 0x58905
|
||||||
|
Target Atom = 0x2ac06
|
||||||
|
Tbody Atom = 0x2705
|
||||||
|
Td Atom = 0x5e02
|
||||||
|
Template Atom = 0x70e08
|
||||||
|
Textarea Atom = 0x34608
|
||||||
|
Tfoot Atom = 0xb205
|
||||||
|
Th Atom = 0x13f02
|
||||||
|
Thead Atom = 0x32405
|
||||||
|
Time Atom = 0x11c04
|
||||||
|
Title Atom = 0xca05
|
||||||
|
Tr Atom = 0x7402
|
||||||
|
Track Atom = 0x17c05
|
||||||
|
Translate Atom = 0x1a609
|
||||||
|
Tt Atom = 0x5102
|
||||||
|
Type Atom = 0x8104
|
||||||
|
Typemustmatch Atom = 0x2780d
|
||||||
|
U Atom = 0xb01
|
||||||
|
Ul Atom = 0x6602
|
||||||
|
Updateviacache Atom = 0x1200e
|
||||||
|
Usemap Atom = 0x59206
|
||||||
|
Value Atom = 0x1505
|
||||||
|
Var Atom = 0x15603
|
||||||
|
Video Atom = 0x2d905
|
||||||
|
Wbr Atom = 0x57003
|
||||||
|
Width Atom = 0x64505
|
||||||
|
Workertype Atom = 0x7160a
|
||||||
|
Wrap Atom = 0x72004
|
||||||
|
Xmp Atom = 0xf903
|
||||||
|
)
|
||||||
|
|
||||||
|
const hash0 = 0x81cdf10e
|
||||||
|
|
||||||
|
const maxAtomLen = 25
|
||||||
|
|
||||||
|
var table = [1 << 9]Atom{
|
||||||
|
0x1: 0x8e0a, // mediagroup
|
||||||
|
0x2: 0x2cc04, // lang
|
||||||
|
0x4: 0x2c09, // accesskey
|
||||||
|
0x5: 0x5708, // frameset
|
||||||
|
0x7: 0x63608, // onselect
|
||||||
|
0x8: 0x70b06, // system
|
||||||
|
0xa: 0x64505, // width
|
||||||
|
0xc: 0x2710b, // formenctype
|
||||||
|
0xd: 0x10102, // ol
|
||||||
|
0xe: 0x38b0b, // oncuechange
|
||||||
|
0x10: 0x13403, // bdo
|
||||||
|
0x11: 0xcf05, // audio
|
||||||
|
0x12: 0x18309, // draggable
|
||||||
|
0x14: 0x2d905, // video
|
||||||
|
0x15: 0x29902, // mn
|
||||||
|
0x16: 0x37b04, // menu
|
||||||
|
0x17: 0x2b706, // poster
|
||||||
|
0x19: 0xb306, // footer
|
||||||
|
0x1a: 0x29006, // method
|
||||||
|
0x1b: 0x2a008, // datetime
|
||||||
|
0x1c: 0x17607, // onabort
|
||||||
|
0x1d: 0x1200e, // updateviacache
|
||||||
|
0x1e: 0xb905, // async
|
||||||
|
0x1f: 0x49106, // onload
|
||||||
|
0x21: 0xd308, // oncancel
|
||||||
|
0x22: 0x62508, // onseeked
|
||||||
|
0x23: 0x2ea05, // image
|
||||||
|
0x24: 0x5d412, // onrejectionhandled
|
||||||
|
0x26: 0x15d04, // link
|
||||||
|
0x27: 0x51106, // output
|
||||||
|
0x28: 0x32504, // head
|
||||||
|
0x29: 0x4f30c, // onmouseleave
|
||||||
|
0x2a: 0x57307, // onpaste
|
||||||
|
0x2b: 0x59809, // onplaying
|
||||||
|
0x2c: 0x1b407, // colspan
|
||||||
|
0x2f: 0x1af05, // color
|
||||||
|
0x30: 0x5f104, // size
|
||||||
|
0x31: 0x2d00a, // http-equiv
|
||||||
|
0x33: 0x601, // i
|
||||||
|
0x34: 0x54d0a, // onpagehide
|
||||||
|
0x35: 0x68814, // onunhandledrejection
|
||||||
|
0x37: 0x41e07, // onerror
|
||||||
|
0x3a: 0x11508, // basefont
|
||||||
|
0x3f: 0x1303, // nav
|
||||||
|
0x40: 0x18004, // kind
|
||||||
|
0x41: 0x34b08, // readonly
|
||||||
|
0x42: 0x2f006, // mglyph
|
||||||
|
0x44: 0x11102, // li
|
||||||
|
0x46: 0x2bd06, // hidden
|
||||||
|
0x47: 0x70803, // svg
|
||||||
|
0x48: 0x57704, // step
|
||||||
|
0x49: 0x22709, // integrity
|
||||||
|
0x4a: 0x57a06, // public
|
||||||
|
0x4c: 0x19703, // col
|
||||||
|
0x4d: 0x1680a, // blockquote
|
||||||
|
0x4e: 0x34302, // h5
|
||||||
|
0x50: 0x5ad08, // progress
|
||||||
|
0x51: 0x5f105, // sizes
|
||||||
|
0x52: 0x33902, // h4
|
||||||
|
0x56: 0x32405, // thead
|
||||||
|
0x57: 0x7e07, // keytype
|
||||||
|
0x58: 0x5ab0a, // onprogress
|
||||||
|
0x59: 0x43f09, // inputmode
|
||||||
|
0x5a: 0x3a509, // ondragend
|
||||||
|
0x5d: 0x39605, // oncut
|
||||||
|
0x5e: 0x42b06, // spacer
|
||||||
|
0x5f: 0x19708, // colgroup
|
||||||
|
0x62: 0x14e02, // is
|
||||||
|
0x65: 0xb902, // as
|
||||||
|
0x66: 0x53c09, // onoffline
|
||||||
|
0x67: 0x32b06, // sorted
|
||||||
|
0x69: 0x48110, // onlanguagechange
|
||||||
|
0x6c: 0x4310c, // onhashchange
|
||||||
|
0x6d: 0xa604, // name
|
||||||
|
0x6e: 0xb205, // tfoot
|
||||||
|
0x6f: 0x55504, // desc
|
||||||
|
0x70: 0x33103, // max
|
||||||
|
0x72: 0x1da06, // coords
|
||||||
|
0x73: 0x2f502, // h3
|
||||||
|
0x74: 0x6e10e, // onbeforeunload
|
||||||
|
0x75: 0x3a04, // rows
|
||||||
|
0x76: 0x63806, // select
|
||||||
|
0x77: 0xa805, // meter
|
||||||
|
0x78: 0x37f06, // itemid
|
||||||
|
0x79: 0x5300c, // onmousewheel
|
||||||
|
0x7a: 0x5b406, // srcdoc
|
||||||
|
0x7d: 0x17c05, // track
|
||||||
|
0x7f: 0x30708, // itemtype
|
||||||
|
0x82: 0x6302, // mo
|
||||||
|
0x83: 0x40f08, // onchange
|
||||||
|
0x84: 0x32507, // headers
|
||||||
|
0x85: 0x5c80c, // onratechange
|
||||||
|
0x86: 0x60419, // onsecuritypolicyviolation
|
||||||
|
0x88: 0x49908, // datalist
|
||||||
|
0x89: 0x4dc0b, // onmousedown
|
||||||
|
0x8a: 0x1df04, // slot
|
||||||
|
0x8b: 0x4a410, // onloadedmetadata
|
||||||
|
0x8c: 0x1a06, // accept
|
||||||
|
0x8d: 0x25006, // object
|
||||||
|
0x91: 0x6af0e, // onvolumechange
|
||||||
|
0x92: 0x2107, // charset
|
||||||
|
0x93: 0x25e13, // onautocompleteerror
|
||||||
|
0x94: 0x6913, // allowpaymentrequest
|
||||||
|
0x95: 0x2804, // body
|
||||||
|
0x96: 0xc407, // default
|
||||||
|
0x97: 0x63808, // selected
|
||||||
|
0x98: 0x20604, // face
|
||||||
|
0x99: 0x1d505, // shape
|
||||||
|
0x9b: 0x68008, // ontoggle
|
||||||
|
0x9e: 0x64702, // dt
|
||||||
|
0x9f: 0x6d904, // mark
|
||||||
|
0xa1: 0xb01, // u
|
||||||
|
0xa4: 0x6a708, // onunload
|
||||||
|
0xa5: 0xde04, // loop
|
||||||
|
0xa6: 0x14d08, // disabled
|
||||||
|
0xaa: 0x41707, // onended
|
||||||
|
0xab: 0x6d30a, // malignmark
|
||||||
|
0xad: 0x67709, // onsuspend
|
||||||
|
0xae: 0x34505, // mtext
|
||||||
|
0xaf: 0x64b06, // onsort
|
||||||
|
0xb0: 0x55908, // itemprop
|
||||||
|
0xb3: 0x66d09, // itemscope
|
||||||
|
0xb4: 0x15c05, // blink
|
||||||
|
0xb6: 0x3a506, // ondrag
|
||||||
|
0xb7: 0x6602, // ul
|
||||||
|
0xb8: 0x25604, // form
|
||||||
|
0xb9: 0xf307, // sandbox
|
||||||
|
0xba: 0x5705, // frame
|
||||||
|
0xbb: 0x1505, // value
|
||||||
|
0xbc: 0x65e09, // onstorage
|
||||||
|
0xc0: 0x17b02, // rt
|
||||||
|
0xc2: 0x202, // br
|
||||||
|
0xc3: 0x20e08, // fieldset
|
||||||
|
0xc4: 0x2780d, // typemustmatch
|
||||||
|
0xc5: 0x6108, // nomodule
|
||||||
|
0xc6: 0x4007, // noembed
|
||||||
|
0xc7: 0x69a0d, // onbeforeprint
|
||||||
|
0xc8: 0x17206, // button
|
||||||
|
0xc9: 0x2dd07, // onclick
|
||||||
|
0xca: 0x6fe07, // summary
|
||||||
|
0xcd: 0xac04, // ruby
|
||||||
|
0xce: 0x5b905, // class
|
||||||
|
0xcf: 0x3e80b, // ondragstart
|
||||||
|
0xd0: 0x21907, // caption
|
||||||
|
0xd4: 0x850e, // allowusermedia
|
||||||
|
0xd5: 0x4c30b, // onloadstart
|
||||||
|
0xd9: 0x15403, // div
|
||||||
|
0xda: 0x49d04, // list
|
||||||
|
0xdb: 0x32204, // math
|
||||||
|
0xdc: 0x43f05, // input
|
||||||
|
0xdf: 0x3de0a, // ondragover
|
||||||
|
0xe0: 0x2c602, // h2
|
||||||
|
0xe2: 0x19e09, // plaintext
|
||||||
|
0xe4: 0x4e70c, // onmouseenter
|
||||||
|
0xe7: 0x46d07, // checked
|
||||||
|
0xe8: 0x46403, // pre
|
||||||
|
0xea: 0x35308, // multiple
|
||||||
|
0xeb: 0x16103, // bdi
|
||||||
|
0xec: 0x33109, // maxlength
|
||||||
|
0xed: 0x7701, // q
|
||||||
|
0xee: 0x61b0a, // onauxclick
|
||||||
|
0xf0: 0x57003, // wbr
|
||||||
|
0xf2: 0x11504, // base
|
||||||
|
0xf3: 0x6dd06, // option
|
||||||
|
0xf5: 0x40710, // ondurationchange
|
||||||
|
0xf7: 0x5508, // noframes
|
||||||
|
0xf9: 0x3f908, // dropzone
|
||||||
|
0xfb: 0x67105, // scope
|
||||||
|
0xfc: 0x9c08, // reversed
|
||||||
|
0xfd: 0x3ae0b, // ondragenter
|
||||||
|
0xfe: 0x3ee05, // start
|
||||||
|
0xff: 0xf903, // xmp
|
||||||
|
0x100: 0x5f507, // srclang
|
||||||
|
0x101: 0x2ef03, // img
|
||||||
|
0x104: 0x101, // b
|
||||||
|
0x105: 0x23c03, // for
|
||||||
|
0x106: 0xc105, // aside
|
||||||
|
0x107: 0x43d07, // oninput
|
||||||
|
0x108: 0x34a04, // area
|
||||||
|
0x109: 0x28c0a, // formmethod
|
||||||
|
0x10a: 0x72004, // wrap
|
||||||
|
0x10c: 0x22402, // rp
|
||||||
|
0x10d: 0x45f0a, // onkeypress
|
||||||
|
0x10e: 0x5102, // tt
|
||||||
|
0x110: 0x33b02, // mi
|
||||||
|
0x111: 0x35b05, // muted
|
||||||
|
0x112: 0xb003, // alt
|
||||||
|
0x113: 0x19004, // code
|
||||||
|
0x114: 0x4202, // em
|
||||||
|
0x115: 0x3b90a, // ondragexit
|
||||||
|
0x117: 0x3d04, // span
|
||||||
|
0x119: 0x30f08, // manifest
|
||||||
|
0x11a: 0x37b08, // menuitem
|
||||||
|
0x11b: 0x57f07, // content
|
||||||
|
0x11d: 0x6bd09, // onwaiting
|
||||||
|
0x11f: 0x4ba09, // onloadend
|
||||||
|
0x121: 0x3720d, // oncontextmenu
|
||||||
|
0x123: 0x5c206, // onblur
|
||||||
|
0x124: 0x3f007, // article
|
||||||
|
0x125: 0xa303, // dir
|
||||||
|
0x126: 0xe704, // ping
|
||||||
|
0x127: 0x23408, // required
|
||||||
|
0x128: 0x44909, // oninvalid
|
||||||
|
0x129: 0x6d405, // align
|
||||||
|
0x12b: 0x57e04, // icon
|
||||||
|
0x12c: 0x64902, // h6
|
||||||
|
0x12d: 0x1b404, // cols
|
||||||
|
0x12e: 0x2160a, // figcaption
|
||||||
|
0x12f: 0x45209, // onkeydown
|
||||||
|
0x130: 0x66708, // onsubmit
|
||||||
|
0x131: 0x13609, // oncanplay
|
||||||
|
0x132: 0x70503, // sup
|
||||||
|
0x133: 0xc01, // p
|
||||||
|
0x135: 0x3fe09, // onemptied
|
||||||
|
0x136: 0x38506, // oncopy
|
||||||
|
0x137: 0x55804, // cite
|
||||||
|
0x138: 0x39b0a, // ondblclick
|
||||||
|
0x13a: 0x4ff0b, // onmousemove
|
||||||
|
0x13c: 0x66903, // sub
|
||||||
|
0x13d: 0x47b03, // rel
|
||||||
|
0x13e: 0xe008, // optgroup
|
||||||
|
0x142: 0x3a07, // rowspan
|
||||||
|
0x143: 0x36c06, // source
|
||||||
|
0x144: 0x1fe08, // noscript
|
||||||
|
0x145: 0x55f04, // open
|
||||||
|
0x146: 0x1ec03, // ins
|
||||||
|
0x147: 0x23c0d, // foreignObject
|
||||||
|
0x148: 0x5a10a, // onpopstate
|
||||||
|
0x14a: 0x27507, // enctype
|
||||||
|
0x14b: 0x25e0e, // onautocomplete
|
||||||
|
0x14c: 0x34608, // textarea
|
||||||
|
0x14e: 0x2600c, // autocomplete
|
||||||
|
0x14f: 0x14002, // hr
|
||||||
|
0x150: 0x1ce08, // controls
|
||||||
|
0x151: 0xc302, // id
|
||||||
|
0x153: 0x21e0c, // onafterprint
|
||||||
|
0x155: 0x2490d, // foreignobject
|
||||||
|
0x156: 0x31b07, // marquee
|
||||||
|
0x157: 0x58e07, // onpause
|
||||||
|
0x158: 0x5e202, // dl
|
||||||
|
0x159: 0x12c06, // height
|
||||||
|
0x15a: 0x33b03, // min
|
||||||
|
0x15b: 0xa307, // dirname
|
||||||
|
0x15c: 0x1a609, // translate
|
||||||
|
0x15d: 0x13004, // html
|
||||||
|
0x15e: 0x33b09, // minlength
|
||||||
|
0x15f: 0x47a07, // preload
|
||||||
|
0x160: 0x70e08, // template
|
||||||
|
0x161: 0x3d30b, // ondragleave
|
||||||
|
0x164: 0x5b403, // src
|
||||||
|
0x165: 0x31506, // strong
|
||||||
|
0x167: 0x4c04, // samp
|
||||||
|
0x168: 0x6ed07, // address
|
||||||
|
0x169: 0x54508, // ononline
|
||||||
|
0x16b: 0xfb0b, // placeholder
|
||||||
|
0x16c: 0x2ac06, // target
|
||||||
|
0x16d: 0x1ee05, // small
|
||||||
|
0x16e: 0x6c607, // onwheel
|
||||||
|
0x16f: 0x1b90a, // annotation
|
||||||
|
0x170: 0x4680a, // spellcheck
|
||||||
|
0x171: 0x4607, // details
|
||||||
|
0x172: 0xbd06, // canvas
|
||||||
|
0x173: 0xeb09, // autofocus
|
||||||
|
0x174: 0xc05, // param
|
||||||
|
0x176: 0x45708, // download
|
||||||
|
0x177: 0x44603, // del
|
||||||
|
0x178: 0x36007, // onclose
|
||||||
|
0x179: 0x16003, // kbd
|
||||||
|
0x17a: 0x30106, // applet
|
||||||
|
0x17b: 0x2c804, // href
|
||||||
|
0x17c: 0x5ed08, // onresize
|
||||||
|
0x17e: 0x4910c, // onloadeddata
|
||||||
|
0x180: 0x7402, // tr
|
||||||
|
0x181: 0x2a80a, // formtarget
|
||||||
|
0x182: 0xca05, // title
|
||||||
|
0x183: 0x6f905, // style
|
||||||
|
0x184: 0x7a06, // strike
|
||||||
|
0x185: 0x59206, // usemap
|
||||||
|
0x186: 0x2e406, // iframe
|
||||||
|
0x187: 0x1004, // main
|
||||||
|
0x189: 0x9707, // picture
|
||||||
|
0x18c: 0x2fe05, // ismap
|
||||||
|
0x18e: 0x49904, // data
|
||||||
|
0x18f: 0xda05, // label
|
||||||
|
0x191: 0x3c50e, // referrerpolicy
|
||||||
|
0x192: 0x13f02, // th
|
||||||
|
0x194: 0x52a06, // prompt
|
||||||
|
0x195: 0x5bd07, // section
|
||||||
|
0x197: 0x6cd07, // optimum
|
||||||
|
0x198: 0x2c304, // high
|
||||||
|
0x199: 0x14502, // h1
|
||||||
|
0x19a: 0x65509, // onstalled
|
||||||
|
0x19b: 0x15603, // var
|
||||||
|
0x19c: 0x11c04, // time
|
||||||
|
0x19e: 0x67002, // ms
|
||||||
|
0x19f: 0x32506, // header
|
||||||
|
0x1a0: 0x4ce09, // onmessage
|
||||||
|
0x1a1: 0x56205, // nonce
|
||||||
|
0x1a2: 0x2560a, // formaction
|
||||||
|
0x1a3: 0x20806, // center
|
||||||
|
0x1a4: 0x3704, // nobr
|
||||||
|
0x1a5: 0x58905, // table
|
||||||
|
0x1a6: 0x49d07, // listing
|
||||||
|
0x1a7: 0x18a06, // legend
|
||||||
|
0x1a9: 0x28309, // challenge
|
||||||
|
0x1aa: 0x23006, // figure
|
||||||
|
0x1ab: 0x8e05, // media
|
||||||
|
0x1ae: 0x8104, // type
|
||||||
|
0x1af: 0x11904, // font
|
||||||
|
0x1b0: 0x4ce0e, // onmessageerror
|
||||||
|
0x1b1: 0x36508, // seamless
|
||||||
|
0x1b2: 0x5f03, // dfn
|
||||||
|
0x1b3: 0x19205, // defer
|
||||||
|
0x1b4: 0x6b03, // low
|
||||||
|
0x1b5: 0x62d09, // onseeking
|
||||||
|
0x1b6: 0x5170b, // onmouseover
|
||||||
|
0x1b7: 0x29a0a, // novalidate
|
||||||
|
0x1b8: 0x7160a, // workertype
|
||||||
|
0x1ba: 0x3c107, // itemref
|
||||||
|
0x1bd: 0x1, // a
|
||||||
|
0x1be: 0x30003, // map
|
||||||
|
0x1bf: 0x11a0c, // ontimeupdate
|
||||||
|
0x1c0: 0x14707, // bgsound
|
||||||
|
0x1c1: 0x3206, // keygen
|
||||||
|
0x1c2: 0x2705, // tbody
|
||||||
|
0x1c5: 0x64006, // onshow
|
||||||
|
0x1c7: 0x2501, // s
|
||||||
|
0x1c8: 0x4f07, // pattern
|
||||||
|
0x1cc: 0x13610, // oncanplaythrough
|
||||||
|
0x1ce: 0x2bf02, // dd
|
||||||
|
0x1cf: 0x6f306, // srcset
|
||||||
|
0x1d0: 0x15903, // big
|
||||||
|
0x1d2: 0x64d08, // sortable
|
||||||
|
0x1d3: 0x47407, // onkeyup
|
||||||
|
0x1d5: 0x59806, // onplay
|
||||||
|
0x1d7: 0x4ac04, // meta
|
||||||
|
0x1d8: 0x3f706, // ondrop
|
||||||
|
0x1da: 0x5fc08, // onscroll
|
||||||
|
0x1db: 0x1e30b, // crossorigin
|
||||||
|
0x1dc: 0x5670a, // onpageshow
|
||||||
|
0x1dd: 0x4, // abbr
|
||||||
|
0x1de: 0x5e02, // td
|
||||||
|
0x1df: 0x57f0f, // contenteditable
|
||||||
|
0x1e0: 0x25a06, // action
|
||||||
|
0x1e1: 0x10a0b, // playsinline
|
||||||
|
0x1e2: 0x42507, // onfocus
|
||||||
|
0x1e3: 0x2c808, // hreflang
|
||||||
|
0x1e5: 0x50a0a, // onmouseout
|
||||||
|
0x1e6: 0x5e607, // onreset
|
||||||
|
0x1e7: 0x10608, // autoplay
|
||||||
|
0x1ea: 0x67106, // scoped
|
||||||
|
0x1ec: 0x30a, // radiogroup
|
||||||
|
0x1ee: 0x3740b, // contextmenu
|
||||||
|
0x1ef: 0x52209, // onmouseup
|
||||||
|
0x1f1: 0x2b206, // hgroup
|
||||||
|
0x1f2: 0x1f00f, // allowfullscreen
|
||||||
|
0x1f3: 0x4b208, // tabindex
|
||||||
|
0x1f6: 0x2f707, // isindex
|
||||||
|
0x1f7: 0x1a0e, // accept-charset
|
||||||
|
0x1f8: 0x2960e, // formnovalidate
|
||||||
|
0x1fb: 0x1b90e, // annotation-xml
|
||||||
|
0x1fc: 0x4205, // embed
|
||||||
|
0x1fd: 0x20006, // script
|
||||||
|
0x1fe: 0x16206, // dialog
|
||||||
|
0x1ff: 0x1c707, // command
|
||||||
|
}
|
||||||
|
|
||||||
|
const atomText = "abbradiogrouparamainavalueaccept-charsetbodyaccesskeygenobro" +
|
||||||
|
"wspanoembedetailsampatternoframesetdfnomoduleallowpaymentreq" +
|
||||||
|
"uestrikeytypeallowusermediagroupictureversedirnameterubyaltf" +
|
||||||
|
"ooterasyncanvasidefaultitleaudioncancelabelooptgroupingautof" +
|
||||||
|
"ocusandboxmplaceholderautoplaysinlinebasefontimeupdateviacac" +
|
||||||
|
"heightmlbdoncanplaythrough1bgsoundisabledivarbigblinkbdialog" +
|
||||||
|
"blockquotebuttonabortrackindraggablegendcodefercolgrouplaint" +
|
||||||
|
"extranslatecolorcolspannotation-xmlcommandcontrolshapecoords" +
|
||||||
|
"lotcrossoriginsmallowfullscreenoscriptfacenterfieldsetfigcap" +
|
||||||
|
"tionafterprintegrityfigurequiredforeignObjectforeignobjectfo" +
|
||||||
|
"rmactionautocompleteerrorformenctypemustmatchallengeformmeth" +
|
||||||
|
"odformnovalidatetimeformtargethgrouposterhiddenhigh2hreflang" +
|
||||||
|
"http-equivideonclickiframeimageimglyph3isindexismappletitemt" +
|
||||||
|
"ypemanifestrongmarqueematheadersortedmaxlength4minlength5mte" +
|
||||||
|
"xtareadonlymultiplemutedoncloseamlessourceoncontextmenuitemi" +
|
||||||
|
"doncopyoncuechangeoncutondblclickondragendondragenterondrage" +
|
||||||
|
"xitemreferrerpolicyondragleaveondragoverondragstarticleondro" +
|
||||||
|
"pzonemptiedondurationchangeonendedonerroronfocuspaceronhashc" +
|
||||||
|
"hangeoninputmodeloninvalidonkeydownloadonkeypresspellchecked" +
|
||||||
|
"onkeyupreloadonlanguagechangeonloadeddatalistingonloadedmeta" +
|
||||||
|
"databindexonloadendonloadstartonmessageerroronmousedownonmou" +
|
||||||
|
"seenteronmouseleaveonmousemoveonmouseoutputonmouseoveronmous" +
|
||||||
|
"eupromptonmousewheelonofflineononlineonpagehidescitempropeno" +
|
||||||
|
"nceonpageshowbronpastepublicontenteditableonpausemaponplayin" +
|
||||||
|
"gonpopstateonprogressrcdoclassectionbluronratechangeonreject" +
|
||||||
|
"ionhandledonresetonresizesrclangonscrollonsecuritypolicyviol" +
|
||||||
|
"ationauxclickonseekedonseekingonselectedonshowidth6onsortabl" +
|
||||||
|
"eonstalledonstorageonsubmitemscopedonsuspendontoggleonunhand" +
|
||||||
|
"ledrejectionbeforeprintonunloadonvolumechangeonwaitingonwhee" +
|
||||||
|
"loptimumalignmarkoptionbeforeunloaddressrcsetstylesummarysup" +
|
||||||
|
"svgsystemplateworkertypewrap"
|
|
@ -0,0 +1,373 @@
|
||||||
|
// Code generated by go generate gen.go; DO NOT EDIT.
|
||||||
|
|
||||||
|
//go:generate go run gen.go -test
|
||||||
|
|
||||||
|
package atom
|
||||||
|
|
||||||
|
var testAtomList = []string{
|
||||||
|
"a",
|
||||||
|
"abbr",
|
||||||
|
"accept",
|
||||||
|
"accept-charset",
|
||||||
|
"accesskey",
|
||||||
|
"action",
|
||||||
|
"address",
|
||||||
|
"align",
|
||||||
|
"allowfullscreen",
|
||||||
|
"allowpaymentrequest",
|
||||||
|
"allowusermedia",
|
||||||
|
"alt",
|
||||||
|
"annotation",
|
||||||
|
"annotation-xml",
|
||||||
|
"applet",
|
||||||
|
"area",
|
||||||
|
"article",
|
||||||
|
"as",
|
||||||
|
"aside",
|
||||||
|
"async",
|
||||||
|
"audio",
|
||||||
|
"autocomplete",
|
||||||
|
"autofocus",
|
||||||
|
"autoplay",
|
||||||
|
"b",
|
||||||
|
"base",
|
||||||
|
"basefont",
|
||||||
|
"bdi",
|
||||||
|
"bdo",
|
||||||
|
"bgsound",
|
||||||
|
"big",
|
||||||
|
"blink",
|
||||||
|
"blockquote",
|
||||||
|
"body",
|
||||||
|
"br",
|
||||||
|
"button",
|
||||||
|
"canvas",
|
||||||
|
"caption",
|
||||||
|
"center",
|
||||||
|
"challenge",
|
||||||
|
"charset",
|
||||||
|
"checked",
|
||||||
|
"cite",
|
||||||
|
"class",
|
||||||
|
"code",
|
||||||
|
"col",
|
||||||
|
"colgroup",
|
||||||
|
"color",
|
||||||
|
"cols",
|
||||||
|
"colspan",
|
||||||
|
"command",
|
||||||
|
"content",
|
||||||
|
"contenteditable",
|
||||||
|
"contextmenu",
|
||||||
|
"controls",
|
||||||
|
"coords",
|
||||||
|
"crossorigin",
|
||||||
|
"data",
|
||||||
|
"datalist",
|
||||||
|
"datetime",
|
||||||
|
"dd",
|
||||||
|
"default",
|
||||||
|
"defer",
|
||||||
|
"del",
|
||||||
|
"desc",
|
||||||
|
"details",
|
||||||
|
"dfn",
|
||||||
|
"dialog",
|
||||||
|
"dir",
|
||||||
|
"dirname",
|
||||||
|
"disabled",
|
||||||
|
"div",
|
||||||
|
"dl",
|
||||||
|
"download",
|
||||||
|
"draggable",
|
||||||
|
"dropzone",
|
||||||
|
"dt",
|
||||||
|
"em",
|
||||||
|
"embed",
|
||||||
|
"enctype",
|
||||||
|
"face",
|
||||||
|
"fieldset",
|
||||||
|
"figcaption",
|
||||||
|
"figure",
|
||||||
|
"font",
|
||||||
|
"footer",
|
||||||
|
"for",
|
||||||
|
"foreignObject",
|
||||||
|
"foreignobject",
|
||||||
|
"form",
|
||||||
|
"formaction",
|
||||||
|
"formenctype",
|
||||||
|
"formmethod",
|
||||||
|
"formnovalidate",
|
||||||
|
"formtarget",
|
||||||
|
"frame",
|
||||||
|
"frameset",
|
||||||
|
"h1",
|
||||||
|
"h2",
|
||||||
|
"h3",
|
||||||
|
"h4",
|
||||||
|
"h5",
|
||||||
|
"h6",
|
||||||
|
"head",
|
||||||
|
"header",
|
||||||
|
"headers",
|
||||||
|
"height",
|
||||||
|
"hgroup",
|
||||||
|
"hidden",
|
||||||
|
"high",
|
||||||
|
"hr",
|
||||||
|
"href",
|
||||||
|
"hreflang",
|
||||||
|
"html",
|
||||||
|
"http-equiv",
|
||||||
|
"i",
|
||||||
|
"icon",
|
||||||
|
"id",
|
||||||
|
"iframe",
|
||||||
|
"image",
|
||||||
|
"img",
|
||||||
|
"input",
|
||||||
|
"inputmode",
|
||||||
|
"ins",
|
||||||
|
"integrity",
|
||||||
|
"is",
|
||||||
|
"isindex",
|
||||||
|
"ismap",
|
||||||
|
"itemid",
|
||||||
|
"itemprop",
|
||||||
|
"itemref",
|
||||||
|
"itemscope",
|
||||||
|
"itemtype",
|
||||||
|
"kbd",
|
||||||
|
"keygen",
|
||||||
|
"keytype",
|
||||||
|
"kind",
|
||||||
|
"label",
|
||||||
|
"lang",
|
||||||
|
"legend",
|
||||||
|
"li",
|
||||||
|
"link",
|
||||||
|
"list",
|
||||||
|
"listing",
|
||||||
|
"loop",
|
||||||
|
"low",
|
||||||
|
"main",
|
||||||
|
"malignmark",
|
||||||
|
"manifest",
|
||||||
|
"map",
|
||||||
|
"mark",
|
||||||
|
"marquee",
|
||||||
|
"math",
|
||||||
|
"max",
|
||||||
|
"maxlength",
|
||||||
|
"media",
|
||||||
|
"mediagroup",
|
||||||
|
"menu",
|
||||||
|
"menuitem",
|
||||||
|
"meta",
|
||||||
|
"meter",
|
||||||
|
"method",
|
||||||
|
"mglyph",
|
||||||
|
"mi",
|
||||||
|
"min",
|
||||||
|
"minlength",
|
||||||
|
"mn",
|
||||||
|
"mo",
|
||||||
|
"ms",
|
||||||
|
"mtext",
|
||||||
|
"multiple",
|
||||||
|
"muted",
|
||||||
|
"name",
|
||||||
|
"nav",
|
||||||
|
"nobr",
|
||||||
|
"noembed",
|
||||||
|
"noframes",
|
||||||
|
"nomodule",
|
||||||
|
"nonce",
|
||||||
|
"noscript",
|
||||||
|
"novalidate",
|
||||||
|
"object",
|
||||||
|
"ol",
|
||||||
|
"onabort",
|
||||||
|
"onafterprint",
|
||||||
|
"onautocomplete",
|
||||||
|
"onautocompleteerror",
|
||||||
|
"onauxclick",
|
||||||
|
"onbeforeprint",
|
||||||
|
"onbeforeunload",
|
||||||
|
"onblur",
|
||||||
|
"oncancel",
|
||||||
|
"oncanplay",
|
||||||
|
"oncanplaythrough",
|
||||||
|
"onchange",
|
||||||
|
"onclick",
|
||||||
|
"onclose",
|
||||||
|
"oncontextmenu",
|
||||||
|
"oncopy",
|
||||||
|
"oncuechange",
|
||||||
|
"oncut",
|
||||||
|
"ondblclick",
|
||||||
|
"ondrag",
|
||||||
|
"ondragend",
|
||||||
|
"ondragenter",
|
||||||
|
"ondragexit",
|
||||||
|
"ondragleave",
|
||||||
|
"ondragover",
|
||||||
|
"ondragstart",
|
||||||
|
"ondrop",
|
||||||
|
"ondurationchange",
|
||||||
|
"onemptied",
|
||||||
|
"onended",
|
||||||
|
"onerror",
|
||||||
|
"onfocus",
|
||||||
|
"onhashchange",
|
||||||
|
"oninput",
|
||||||
|
"oninvalid",
|
||||||
|
"onkeydown",
|
||||||
|
"onkeypress",
|
||||||
|
"onkeyup",
|
||||||
|
"onlanguagechange",
|
||||||
|
"onload",
|
||||||
|
"onloadeddata",
|
||||||
|
"onloadedmetadata",
|
||||||
|
"onloadend",
|
||||||
|
"onloadstart",
|
||||||
|
"onmessage",
|
||||||
|
"onmessageerror",
|
||||||
|
"onmousedown",
|
||||||
|
"onmouseenter",
|
||||||
|
"onmouseleave",
|
||||||
|
"onmousemove",
|
||||||
|
"onmouseout",
|
||||||
|
"onmouseover",
|
||||||
|
"onmouseup",
|
||||||
|
"onmousewheel",
|
||||||
|
"onoffline",
|
||||||
|
"ononline",
|
||||||
|
"onpagehide",
|
||||||
|
"onpageshow",
|
||||||
|
"onpaste",
|
||||||
|
"onpause",
|
||||||
|
"onplay",
|
||||||
|
"onplaying",
|
||||||
|
"onpopstate",
|
||||||
|
"onprogress",
|
||||||
|
"onratechange",
|
||||||
|
"onrejectionhandled",
|
||||||
|
"onreset",
|
||||||
|
"onresize",
|
||||||
|
"onscroll",
|
||||||
|
"onsecuritypolicyviolation",
|
||||||
|
"onseeked",
|
||||||
|
"onseeking",
|
||||||
|
"onselect",
|
||||||
|
"onshow",
|
||||||
|
"onsort",
|
||||||
|
"onstalled",
|
||||||
|
"onstorage",
|
||||||
|
"onsubmit",
|
||||||
|
"onsuspend",
|
||||||
|
"ontimeupdate",
|
||||||
|
"ontoggle",
|
||||||
|
"onunhandledrejection",
|
||||||
|
"onunload",
|
||||||
|
"onvolumechange",
|
||||||
|
"onwaiting",
|
||||||
|
"onwheel",
|
||||||
|
"open",
|
||||||
|
"optgroup",
|
||||||
|
"optimum",
|
||||||
|
"option",
|
||||||
|
"output",
|
||||||
|
"p",
|
||||||
|
"param",
|
||||||
|
"pattern",
|
||||||
|
"picture",
|
||||||
|
"ping",
|
||||||
|
"placeholder",
|
||||||
|
"plaintext",
|
||||||
|
"playsinline",
|
||||||
|
"poster",
|
||||||
|
"pre",
|
||||||
|
"preload",
|
||||||
|
"progress",
|
||||||
|
"prompt",
|
||||||
|
"public",
|
||||||
|
"q",
|
||||||
|
"radiogroup",
|
||||||
|
"readonly",
|
||||||
|
"referrerpolicy",
|
||||||
|
"rel",
|
||||||
|
"required",
|
||||||
|
"reversed",
|
||||||
|
"rows",
|
||||||
|
"rowspan",
|
||||||
|
"rp",
|
||||||
|
"rt",
|
||||||
|
"ruby",
|
||||||
|
"s",
|
||||||
|
"samp",
|
||||||
|
"sandbox",
|
||||||
|
"scope",
|
||||||
|
"scoped",
|
||||||
|
"script",
|
||||||
|
"seamless",
|
||||||
|
"section",
|
||||||
|
"select",
|
||||||
|
"selected",
|
||||||
|
"shape",
|
||||||
|
"size",
|
||||||
|
"sizes",
|
||||||
|
"slot",
|
||||||
|
"small",
|
||||||
|
"sortable",
|
||||||
|
"sorted",
|
||||||
|
"source",
|
||||||
|
"spacer",
|
||||||
|
"span",
|
||||||
|
"spellcheck",
|
||||||
|
"src",
|
||||||
|
"srcdoc",
|
||||||
|
"srclang",
|
||||||
|
"srcset",
|
||||||
|
"start",
|
||||||
|
"step",
|
||||||
|
"strike",
|
||||||
|
"strong",
|
||||||
|
"style",
|
||||||
|
"sub",
|
||||||
|
"summary",
|
||||||
|
"sup",
|
||||||
|
"svg",
|
||||||
|
"system",
|
||||||
|
"tabindex",
|
||||||
|
"table",
|
||||||
|
"target",
|
||||||
|
"tbody",
|
||||||
|
"td",
|
||||||
|
"template",
|
||||||
|
"textarea",
|
||||||
|
"tfoot",
|
||||||
|
"th",
|
||||||
|
"thead",
|
||||||
|
"time",
|
||||||
|
"title",
|
||||||
|
"tr",
|
||||||
|
"track",
|
||||||
|
"translate",
|
||||||
|
"tt",
|
||||||
|
"type",
|
||||||
|
"typemustmatch",
|
||||||
|
"u",
|
||||||
|
"ul",
|
||||||
|
"updateviacache",
|
||||||
|
"usemap",
|
||||||
|
"value",
|
||||||
|
"var",
|
||||||
|
"video",
|
||||||
|
"wbr",
|
||||||
|
"width",
|
||||||
|
"workertype",
|
||||||
|
"wrap",
|
||||||
|
"xmp",
|
||||||
|
}
|
|
@ -0,0 +1,257 @@
|
||||||
|
// Copyright 2013 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// Package charset provides common text encodings for HTML documents.
|
||||||
|
//
|
||||||
|
// The mapping from encoding labels to encodings is defined at
|
||||||
|
// https://encoding.spec.whatwg.org/.
|
||||||
|
package charset // import "golang.org/x/net/html/charset"
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"fmt"
|
||||||
|
"io"
|
||||||
|
"mime"
|
||||||
|
"strings"
|
||||||
|
"unicode/utf8"
|
||||||
|
|
||||||
|
"golang.org/x/net/html"
|
||||||
|
"golang.org/x/text/encoding"
|
||||||
|
"golang.org/x/text/encoding/charmap"
|
||||||
|
"golang.org/x/text/encoding/htmlindex"
|
||||||
|
"golang.org/x/text/transform"
|
||||||
|
)
|
||||||
|
|
||||||
|
// Lookup returns the encoding with the specified label, and its canonical
|
||||||
|
// name. It returns nil and the empty string if label is not one of the
|
||||||
|
// standard encodings for HTML. Matching is case-insensitive and ignores
|
||||||
|
// leading and trailing whitespace. Encoders will use HTML escape sequences for
|
||||||
|
// runes that are not supported by the character set.
|
||||||
|
func Lookup(label string) (e encoding.Encoding, name string) {
|
||||||
|
e, err := htmlindex.Get(label)
|
||||||
|
if err != nil {
|
||||||
|
return nil, ""
|
||||||
|
}
|
||||||
|
name, _ = htmlindex.Name(e)
|
||||||
|
return &htmlEncoding{e}, name
|
||||||
|
}
|
||||||
|
|
||||||
|
type htmlEncoding struct{ encoding.Encoding }
|
||||||
|
|
||||||
|
func (h *htmlEncoding) NewEncoder() *encoding.Encoder {
|
||||||
|
// HTML requires a non-terminating legacy encoder. We use HTML escapes to
|
||||||
|
// substitute unsupported code points.
|
||||||
|
return encoding.HTMLEscapeUnsupported(h.Encoding.NewEncoder())
|
||||||
|
}
|
||||||
|
|
||||||
|
// DetermineEncoding determines the encoding of an HTML document by examining
|
||||||
|
// up to the first 1024 bytes of content and the declared Content-Type.
|
||||||
|
//
|
||||||
|
// See http://www.whatwg.org/specs/web-apps/current-work/multipage/parsing.html#determining-the-character-encoding
|
||||||
|
func DetermineEncoding(content []byte, contentType string) (e encoding.Encoding, name string, certain bool) {
|
||||||
|
if len(content) > 1024 {
|
||||||
|
content = content[:1024]
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, b := range boms {
|
||||||
|
if bytes.HasPrefix(content, b.bom) {
|
||||||
|
e, name = Lookup(b.enc)
|
||||||
|
return e, name, true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if _, params, err := mime.ParseMediaType(contentType); err == nil {
|
||||||
|
if cs, ok := params["charset"]; ok {
|
||||||
|
if e, name = Lookup(cs); e != nil {
|
||||||
|
return e, name, true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(content) > 0 {
|
||||||
|
e, name = prescan(content)
|
||||||
|
if e != nil {
|
||||||
|
return e, name, false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Try to detect UTF-8.
|
||||||
|
// First eliminate any partial rune at the end.
|
||||||
|
for i := len(content) - 1; i >= 0 && i > len(content)-4; i-- {
|
||||||
|
b := content[i]
|
||||||
|
if b < 0x80 {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if utf8.RuneStart(b) {
|
||||||
|
content = content[:i]
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
hasHighBit := false
|
||||||
|
for _, c := range content {
|
||||||
|
if c >= 0x80 {
|
||||||
|
hasHighBit = true
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if hasHighBit && utf8.Valid(content) {
|
||||||
|
return encoding.Nop, "utf-8", false
|
||||||
|
}
|
||||||
|
|
||||||
|
// TODO: change default depending on user's locale?
|
||||||
|
return charmap.Windows1252, "windows-1252", false
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewReader returns an io.Reader that converts the content of r to UTF-8.
|
||||||
|
// It calls DetermineEncoding to find out what r's encoding is.
|
||||||
|
func NewReader(r io.Reader, contentType string) (io.Reader, error) {
|
||||||
|
preview := make([]byte, 1024)
|
||||||
|
n, err := io.ReadFull(r, preview)
|
||||||
|
switch {
|
||||||
|
case err == io.ErrUnexpectedEOF:
|
||||||
|
preview = preview[:n]
|
||||||
|
r = bytes.NewReader(preview)
|
||||||
|
case err != nil:
|
||||||
|
return nil, err
|
||||||
|
default:
|
||||||
|
r = io.MultiReader(bytes.NewReader(preview), r)
|
||||||
|
}
|
||||||
|
|
||||||
|
if e, _, _ := DetermineEncoding(preview, contentType); e != encoding.Nop {
|
||||||
|
r = transform.NewReader(r, e.NewDecoder())
|
||||||
|
}
|
||||||
|
return r, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewReaderLabel returns a reader that converts from the specified charset to
|
||||||
|
// UTF-8. It uses Lookup to find the encoding that corresponds to label, and
|
||||||
|
// returns an error if Lookup returns nil. It is suitable for use as
|
||||||
|
// encoding/xml.Decoder's CharsetReader function.
|
||||||
|
func NewReaderLabel(label string, input io.Reader) (io.Reader, error) {
|
||||||
|
e, _ := Lookup(label)
|
||||||
|
if e == nil {
|
||||||
|
return nil, fmt.Errorf("unsupported charset: %q", label)
|
||||||
|
}
|
||||||
|
return transform.NewReader(input, e.NewDecoder()), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func prescan(content []byte) (e encoding.Encoding, name string) {
|
||||||
|
z := html.NewTokenizer(bytes.NewReader(content))
|
||||||
|
for {
|
||||||
|
switch z.Next() {
|
||||||
|
case html.ErrorToken:
|
||||||
|
return nil, ""
|
||||||
|
|
||||||
|
case html.StartTagToken, html.SelfClosingTagToken:
|
||||||
|
tagName, hasAttr := z.TagName()
|
||||||
|
if !bytes.Equal(tagName, []byte("meta")) {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
attrList := make(map[string]bool)
|
||||||
|
gotPragma := false
|
||||||
|
|
||||||
|
const (
|
||||||
|
dontKnow = iota
|
||||||
|
doNeedPragma
|
||||||
|
doNotNeedPragma
|
||||||
|
)
|
||||||
|
needPragma := dontKnow
|
||||||
|
|
||||||
|
name = ""
|
||||||
|
e = nil
|
||||||
|
for hasAttr {
|
||||||
|
var key, val []byte
|
||||||
|
key, val, hasAttr = z.TagAttr()
|
||||||
|
ks := string(key)
|
||||||
|
if attrList[ks] {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
attrList[ks] = true
|
||||||
|
for i, c := range val {
|
||||||
|
if 'A' <= c && c <= 'Z' {
|
||||||
|
val[i] = c + 0x20
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
switch ks {
|
||||||
|
case "http-equiv":
|
||||||
|
if bytes.Equal(val, []byte("content-type")) {
|
||||||
|
gotPragma = true
|
||||||
|
}
|
||||||
|
|
||||||
|
case "content":
|
||||||
|
if e == nil {
|
||||||
|
name = fromMetaElement(string(val))
|
||||||
|
if name != "" {
|
||||||
|
e, name = Lookup(name)
|
||||||
|
if e != nil {
|
||||||
|
needPragma = doNeedPragma
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
case "charset":
|
||||||
|
e, name = Lookup(string(val))
|
||||||
|
needPragma = doNotNeedPragma
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if needPragma == dontKnow || needPragma == doNeedPragma && !gotPragma {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if strings.HasPrefix(name, "utf-16") {
|
||||||
|
name = "utf-8"
|
||||||
|
e = encoding.Nop
|
||||||
|
}
|
||||||
|
|
||||||
|
if e != nil {
|
||||||
|
return e, name
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func fromMetaElement(s string) string {
|
||||||
|
for s != "" {
|
||||||
|
csLoc := strings.Index(s, "charset")
|
||||||
|
if csLoc == -1 {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
s = s[csLoc+len("charset"):]
|
||||||
|
s = strings.TrimLeft(s, " \t\n\f\r")
|
||||||
|
if !strings.HasPrefix(s, "=") {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
s = s[1:]
|
||||||
|
s = strings.TrimLeft(s, " \t\n\f\r")
|
||||||
|
if s == "" {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
if q := s[0]; q == '"' || q == '\'' {
|
||||||
|
s = s[1:]
|
||||||
|
closeQuote := strings.IndexRune(s, rune(q))
|
||||||
|
if closeQuote == -1 {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
return s[:closeQuote]
|
||||||
|
}
|
||||||
|
|
||||||
|
end := strings.IndexAny(s, "; \t\n\f\r")
|
||||||
|
if end == -1 {
|
||||||
|
end = len(s)
|
||||||
|
}
|
||||||
|
return s[:end]
|
||||||
|
}
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
|
||||||
|
var boms = []struct {
|
||||||
|
bom []byte
|
||||||
|
enc string
|
||||||
|
}{
|
||||||
|
{[]byte{0xfe, 0xff}, "utf-16be"},
|
||||||
|
{[]byte{0xff, 0xfe}, "utf-16le"},
|
||||||
|
{[]byte{0xef, 0xbb, 0xbf}, "utf-8"},
|
||||||
|
}
|
|
@ -0,0 +1,237 @@
|
||||||
|
// Copyright 2013 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package charset
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"encoding/xml"
|
||||||
|
"io/ioutil"
|
||||||
|
"runtime"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/text/transform"
|
||||||
|
)
|
||||||
|
|
||||||
|
func transformString(t transform.Transformer, s string) (string, error) {
|
||||||
|
r := transform.NewReader(strings.NewReader(s), t)
|
||||||
|
b, err := ioutil.ReadAll(r)
|
||||||
|
return string(b), err
|
||||||
|
}
|
||||||
|
|
||||||
|
type testCase struct {
|
||||||
|
utf8, other, otherEncoding string
|
||||||
|
}
|
||||||
|
|
||||||
|
// testCases for encoding and decoding.
|
||||||
|
var testCases = []testCase{
|
||||||
|
{"Résumé", "Résumé", "utf8"},
|
||||||
|
{"Résumé", "R\xe9sum\xe9", "latin1"},
|
||||||
|
{"これは漢字です。", "S0\x8c0o0\"oW[g0Y0\x020", "UTF-16LE"},
|
||||||
|
{"これは漢字です。", "0S0\x8c0oo\"[W0g0Y0\x02", "UTF-16BE"},
|
||||||
|
{"Hello, world", "Hello, world", "ASCII"},
|
||||||
|
{"Gdańsk", "Gda\xf1sk", "ISO-8859-2"},
|
||||||
|
{"Ââ Čč Đđ Ŋŋ Õõ Šš Žž Åå Ää", "\xc2\xe2 \xc8\xe8 \xa9\xb9 \xaf\xbf \xd5\xf5 \xaa\xba \xac\xbc \xc5\xe5 \xc4\xe4", "ISO-8859-10"},
|
||||||
|
{"สำหรับ", "\xca\xd3\xcb\xc3\u047a", "ISO-8859-11"},
|
||||||
|
{"latviešu", "latvie\xf0u", "ISO-8859-13"},
|
||||||
|
{"Seònaid", "Se\xf2naid", "ISO-8859-14"},
|
||||||
|
{"€1 is cheap", "\xa41 is cheap", "ISO-8859-15"},
|
||||||
|
{"românește", "rom\xe2ne\xbate", "ISO-8859-16"},
|
||||||
|
{"nutraĵo", "nutra\xbco", "ISO-8859-3"},
|
||||||
|
{"Kalâdlit", "Kal\xe2dlit", "ISO-8859-4"},
|
||||||
|
{"русский", "\xe0\xe3\xe1\xe1\xda\xd8\xd9", "ISO-8859-5"},
|
||||||
|
{"ελληνικά", "\xe5\xeb\xeb\xe7\xed\xe9\xea\xdc", "ISO-8859-7"},
|
||||||
|
{"Kağan", "Ka\xf0an", "ISO-8859-9"},
|
||||||
|
{"Résumé", "R\x8esum\x8e", "macintosh"},
|
||||||
|
{"Gdańsk", "Gda\xf1sk", "windows-1250"},
|
||||||
|
{"русский", "\xf0\xf3\xf1\xf1\xea\xe8\xe9", "windows-1251"},
|
||||||
|
{"Résumé", "R\xe9sum\xe9", "windows-1252"},
|
||||||
|
{"ελληνικά", "\xe5\xeb\xeb\xe7\xed\xe9\xea\xdc", "windows-1253"},
|
||||||
|
{"Kağan", "Ka\xf0an", "windows-1254"},
|
||||||
|
{"עִבְרִית", "\xf2\xc4\xe1\xc0\xf8\xc4\xe9\xfa", "windows-1255"},
|
||||||
|
{"العربية", "\xc7\xe1\xda\xd1\xc8\xed\xc9", "windows-1256"},
|
||||||
|
{"latviešu", "latvie\xf0u", "windows-1257"},
|
||||||
|
{"Việt", "Vi\xea\xf2t", "windows-1258"},
|
||||||
|
{"สำหรับ", "\xca\xd3\xcb\xc3\u047a", "windows-874"},
|
||||||
|
{"русский", "\xd2\xd5\xd3\xd3\xcb\xc9\xca", "KOI8-R"},
|
||||||
|
{"українська", "\xd5\xcb\xd2\xc1\xa7\xce\xd3\xd8\xcb\xc1", "KOI8-U"},
|
||||||
|
{"Hello 常用國字標準字體表", "Hello \xb1`\xa5\u03b0\xea\xa6r\xbc\u0437\u01e6r\xc5\xe9\xaa\xed", "big5"},
|
||||||
|
{"Hello 常用國字標準字體表", "Hello \xb3\xa3\xd3\xc3\x87\xf8\xd7\xd6\x98\xcb\x9c\xca\xd7\xd6\xf3\x77\xb1\xed", "gbk"},
|
||||||
|
{"Hello 常用國字標準字體表", "Hello \xb3\xa3\xd3\xc3\x87\xf8\xd7\xd6\x98\xcb\x9c\xca\xd7\xd6\xf3\x77\xb1\xed", "gb18030"},
|
||||||
|
{"עִבְרִית", "\x81\x30\xfb\x30\x81\x30\xf6\x34\x81\x30\xf9\x33\x81\x30\xf6\x30\x81\x30\xfb\x36\x81\x30\xf6\x34\x81\x30\xfa\x31\x81\x30\xfb\x38", "gb18030"},
|
||||||
|
{"㧯", "\x82\x31\x89\x38", "gb18030"},
|
||||||
|
{"これは漢字です。", "\x82\xb1\x82\xea\x82\xcd\x8a\xbf\x8e\x9a\x82\xc5\x82\xb7\x81B", "SJIS"},
|
||||||
|
{"Hello, 世界!", "Hello, \x90\xa2\x8aE!", "SJIS"},
|
||||||
|
{"イウエオカ", "\xb2\xb3\xb4\xb5\xb6", "SJIS"},
|
||||||
|
{"これは漢字です。", "\xa4\xb3\xa4\xec\xa4\u03f4\xc1\xbb\xfa\xa4\u01e4\xb9\xa1\xa3", "EUC-JP"},
|
||||||
|
{"Hello, 世界!", "Hello, \x1b$B@$3&\x1b(B!", "ISO-2022-JP"},
|
||||||
|
{"다음과 같은 조건을 따라야 합니다: 저작자표시", "\xb4\xd9\xc0\xbd\xb0\xfa \xb0\xb0\xc0\xba \xc1\xb6\xb0\xc7\xc0\xbb \xb5\xfb\xb6\xf3\xbe\xdf \xc7մϴ\xd9: \xc0\xfa\xc0\xdb\xc0\xdaǥ\xbd\xc3", "EUC-KR"},
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestDecode(t *testing.T) {
|
||||||
|
testCases := append(testCases, []testCase{
|
||||||
|
// Replace multi-byte maximum subpart of ill-formed subsequence with
|
||||||
|
// single replacement character (WhatWG requirement).
|
||||||
|
{"Rés\ufffdumé", "Rés\xe1\x80umé", "utf8"},
|
||||||
|
}...)
|
||||||
|
for _, tc := range testCases {
|
||||||
|
e, _ := Lookup(tc.otherEncoding)
|
||||||
|
if e == nil {
|
||||||
|
t.Errorf("%s: not found", tc.otherEncoding)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
s, err := transformString(e.NewDecoder(), tc.other)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: decode %q: %v", tc.otherEncoding, tc.other, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if s != tc.utf8 {
|
||||||
|
t.Errorf("%s: got %q, want %q", tc.otherEncoding, s, tc.utf8)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestEncode(t *testing.T) {
|
||||||
|
testCases := append(testCases, []testCase{
|
||||||
|
// Use Go-style replacement.
|
||||||
|
{"Rés\xe1\x80umé", "Rés\ufffd\ufffdumé", "utf8"},
|
||||||
|
// U+0144 LATIN SMALL LETTER N WITH ACUTE not supported by encoding.
|
||||||
|
{"Gdańsk", "Gdańsk", "ISO-8859-11"},
|
||||||
|
{"\ufffd", "�", "ISO-8859-11"},
|
||||||
|
{"a\xe1\x80b", "a��b", "ISO-8859-11"},
|
||||||
|
}...)
|
||||||
|
for _, tc := range testCases {
|
||||||
|
e, _ := Lookup(tc.otherEncoding)
|
||||||
|
if e == nil {
|
||||||
|
t.Errorf("%s: not found", tc.otherEncoding)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
s, err := transformString(e.NewEncoder(), tc.utf8)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: encode %q: %s", tc.otherEncoding, tc.utf8, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if s != tc.other {
|
||||||
|
t.Errorf("%s: got %q, want %q", tc.otherEncoding, s, tc.other)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var sniffTestCases = []struct {
|
||||||
|
filename, declared, want string
|
||||||
|
}{
|
||||||
|
{"HTTP-charset.html", "text/html; charset=iso-8859-15", "iso-8859-15"},
|
||||||
|
{"UTF-16LE-BOM.html", "", "utf-16le"},
|
||||||
|
{"UTF-16BE-BOM.html", "", "utf-16be"},
|
||||||
|
{"meta-content-attribute.html", "text/html", "iso-8859-15"},
|
||||||
|
{"meta-charset-attribute.html", "text/html", "iso-8859-15"},
|
||||||
|
{"No-encoding-declaration.html", "text/html", "utf-8"},
|
||||||
|
{"HTTP-vs-UTF-8-BOM.html", "text/html; charset=iso-8859-15", "utf-8"},
|
||||||
|
{"HTTP-vs-meta-content.html", "text/html; charset=iso-8859-15", "iso-8859-15"},
|
||||||
|
{"HTTP-vs-meta-charset.html", "text/html; charset=iso-8859-15", "iso-8859-15"},
|
||||||
|
{"UTF-8-BOM-vs-meta-content.html", "text/html", "utf-8"},
|
||||||
|
{"UTF-8-BOM-vs-meta-charset.html", "text/html", "utf-8"},
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestSniff(t *testing.T) {
|
||||||
|
switch runtime.GOOS {
|
||||||
|
case "nacl": // platforms that don't permit direct file system access
|
||||||
|
t.Skipf("not supported on %q", runtime.GOOS)
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, tc := range sniffTestCases {
|
||||||
|
content, err := ioutil.ReadFile("testdata/" + tc.filename)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: error reading file: %v", tc.filename, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
_, name, _ := DetermineEncoding(content, tc.declared)
|
||||||
|
if name != tc.want {
|
||||||
|
t.Errorf("%s: got %q, want %q", tc.filename, name, tc.want)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestReader(t *testing.T) {
|
||||||
|
switch runtime.GOOS {
|
||||||
|
case "nacl": // platforms that don't permit direct file system access
|
||||||
|
t.Skipf("not supported on %q", runtime.GOOS)
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, tc := range sniffTestCases {
|
||||||
|
content, err := ioutil.ReadFile("testdata/" + tc.filename)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: error reading file: %v", tc.filename, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
r, err := NewReader(bytes.NewReader(content), tc.declared)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: error creating reader: %v", tc.filename, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
got, err := ioutil.ReadAll(r)
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: error reading from charset.NewReader: %v", tc.filename, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
e, _ := Lookup(tc.want)
|
||||||
|
want, err := ioutil.ReadAll(transform.NewReader(bytes.NewReader(content), e.NewDecoder()))
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s: error decoding with hard-coded charset name: %v", tc.filename, err)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if !bytes.Equal(got, want) {
|
||||||
|
t.Errorf("%s: got %q, want %q", tc.filename, got, want)
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
var metaTestCases = []struct {
|
||||||
|
meta, want string
|
||||||
|
}{
|
||||||
|
{"", ""},
|
||||||
|
{"text/html", ""},
|
||||||
|
{"text/html; charset utf-8", ""},
|
||||||
|
{"text/html; charset=latin-2", "latin-2"},
|
||||||
|
{"text/html; charset; charset = utf-8", "utf-8"},
|
||||||
|
{`charset="big5"`, "big5"},
|
||||||
|
{"charset='shift_jis'", "shift_jis"},
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestFromMeta(t *testing.T) {
|
||||||
|
for _, tc := range metaTestCases {
|
||||||
|
got := fromMetaElement(tc.meta)
|
||||||
|
if got != tc.want {
|
||||||
|
t.Errorf("%q: got %q, want %q", tc.meta, got, tc.want)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestXML(t *testing.T) {
|
||||||
|
const s = "<?xml version=\"1.0\" encoding=\"windows-1252\"?><a><Word>r\xe9sum\xe9</Word></a>"
|
||||||
|
|
||||||
|
d := xml.NewDecoder(strings.NewReader(s))
|
||||||
|
d.CharsetReader = NewReaderLabel
|
||||||
|
|
||||||
|
var a struct {
|
||||||
|
Word string
|
||||||
|
}
|
||||||
|
err := d.Decode(&a)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("Decode: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
want := "résumé"
|
||||||
|
if a.Word != want {
|
||||||
|
t.Errorf("got %q, want %q", a.Word, want)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,48 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<title>HTTP charset</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="The character encoding of a page can be set using the HTTP header charset declaration.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-15.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>HTTP charset</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">The character encoding of a page can be set using the HTTP header charset declaration.</p>
|
||||||
|
<div class="notes"><p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ÜÀÚ</code>. This matches the sequence of bytes above when they are interpreted as ISO 8859-15. If the class name matches the selector then the test will pass.</p><p>The only character encoding declaration for this HTML file is in the HTTP header, which sets the encoding to ISO 8859-15.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-003">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-001<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#basics" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-001" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
48
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-UTF-8-BOM.html
generated
vendored
Normal file
48
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-UTF-8-BOM.html
generated
vendored
Normal file
|
@ -0,0 +1,48 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<title>HTTP vs UTF-8 BOM</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="A character encoding set in the HTTP header has lower precedence than the UTF-8 signature.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-utf8.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>HTTP vs UTF-8 BOM</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">A character encoding set in the HTTP header has lower precedence than the UTF-8 signature.</p>
|
||||||
|
<div class="notes"><p><p>The HTTP header attempts to set the character encoding to ISO 8859-15. The page starts with a UTF-8 signature.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ýäè</code>. This matches the sequence of bytes above when they are interpreted as UTF-8. If the class name matches the selector then the test will pass.</p><p>If the test is unsuccessful, the characters  should appear at the top of the page. These represent the bytes that make up the UTF-8 signature when encountered in the ISO 8859-15 encoding.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-022">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-034<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#precedence" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-034" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
49
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-meta-charset.html
generated
vendored
Normal file
49
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-meta-charset.html
generated
vendored
Normal file
|
@ -0,0 +1,49 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta charset="iso-8859-1" > <title>HTTP vs meta charset</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="The HTTP header has a higher precedence than an encoding declaration in a meta charset attribute.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }.test div { width: 90px; }
|
||||||
|
</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-15.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>HTTP vs meta charset</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">The HTTP header has a higher precedence than an encoding declaration in a meta charset attribute.</p>
|
||||||
|
<div class="notes"><p><p>The HTTP header attempts to set the character encoding to ISO 8859-15. The page contains an encoding declaration in a meta charset attribute that attempts to set the character encoding to ISO 8859-1.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ÜÀÚ</code>. This matches the sequence of bytes above when they are interpreted as ISO 8859-15. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-037">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-018<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#precedence" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-018" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
49
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-meta-content.html
generated
vendored
Normal file
49
vendor/golang.org/x/net/html/charset/testdata/HTTP-vs-meta-content.html
generated
vendored
Normal file
|
@ -0,0 +1,49 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta http-equiv="content-type" content="text/html;charset=iso-8859-1" > <title>HTTP vs meta content</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="The HTTP header has a higher precedence than an encoding declaration in a meta content attribute.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }.test div { width: 90px; }
|
||||||
|
</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-15.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>HTTP vs meta content</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">The HTTP header has a higher precedence than an encoding declaration in a meta content attribute.</p>
|
||||||
|
<div class="notes"><p><p>The HTTP header attempts to set the character encoding to ISO 8859-15. The page contains an encoding declaration in a meta content attribute that attempts to set the character encoding to ISO 8859-1.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ÜÀÚ</code>. This matches the sequence of bytes above when they are interpreted as ISO 8859-15. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-018">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-016<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#precedence" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-016" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
47
vendor/golang.org/x/net/html/charset/testdata/No-encoding-declaration.html
generated
vendored
Normal file
47
vendor/golang.org/x/net/html/charset/testdata/No-encoding-declaration.html
generated
vendored
Normal file
|
@ -0,0 +1,47 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<title>No encoding declaration</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="A page with no encoding information in HTTP, BOM, XML declaration or meta element will be treated as UTF-8.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-utf8.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>No encoding declaration</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">A page with no encoding information in HTTP, BOM, XML declaration or meta element will be treated as UTF-8.</p>
|
||||||
|
<div class="notes"><p><p>The test on this page contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ýäè</code>. This matches the sequence of bytes above when they are interpreted as UTF-8. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-034">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-015<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#basics" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-015" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
|
@ -0,0 +1,9 @@
|
||||||
|
These test cases come from
|
||||||
|
http://www.w3.org/International/tests/repository/html5/the-input-byte-stream/results-basics
|
||||||
|
|
||||||
|
Distributed under both the W3C Test Suite License
|
||||||
|
(http://www.w3.org/Consortium/Legal/2008/04-testsuite-license)
|
||||||
|
and the W3C 3-clause BSD License
|
||||||
|
(http://www.w3.org/Consortium/Legal/2008/03-bsd-license).
|
||||||
|
To contribute to a W3C Test Suite, see the policies and contribution
|
||||||
|
forms (http://www.w3.org/2004/10/27-testcases).
|
Binary file not shown.
Binary file not shown.
49
vendor/golang.org/x/net/html/charset/testdata/UTF-8-BOM-vs-meta-charset.html
generated
vendored
Normal file
49
vendor/golang.org/x/net/html/charset/testdata/UTF-8-BOM-vs-meta-charset.html
generated
vendored
Normal file
|
@ -0,0 +1,49 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta charset="iso-8859-15"> <title>UTF-8 BOM vs meta charset</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="A page with a UTF-8 BOM will be recognized as UTF-8 even if the meta charset attribute declares a different encoding.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }.test div { width: 90px; }
|
||||||
|
</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-utf8.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>UTF-8 BOM vs meta charset</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">A page with a UTF-8 BOM will be recognized as UTF-8 even if the meta charset attribute declares a different encoding.</p>
|
||||||
|
<div class="notes"><p><p>The page contains an encoding declaration in a meta charset attribute that attempts to set the character encoding to ISO 8859-15, but the file starts with a UTF-8 signature.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ýäè</code>. This matches the sequence of bytes above when they are interpreted as UTF-8. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-024">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-038<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#precedence" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-038" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
48
vendor/golang.org/x/net/html/charset/testdata/UTF-8-BOM-vs-meta-content.html
generated
vendored
Normal file
48
vendor/golang.org/x/net/html/charset/testdata/UTF-8-BOM-vs-meta-content.html
generated
vendored
Normal file
|
@ -0,0 +1,48 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta http-equiv="content-type" content="text/html; charset=iso-8859-15"> <title>UTF-8 BOM vs meta content</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="A page with a UTF-8 BOM will be recognized as UTF-8 even if the meta content attribute declares a different encoding.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-utf8.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>UTF-8 BOM vs meta content</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">A page with a UTF-8 BOM will be recognized as UTF-8 even if the meta content attribute declares a different encoding.</p>
|
||||||
|
<div class="notes"><p><p>The page contains an encoding declaration in a meta content attribute that attempts to set the character encoding to ISO 8859-15, but the file starts with a UTF-8 signature.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ýäè</code>. This matches the sequence of bytes above when they are interpreted as UTF-8. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-038">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-037<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#precedence" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-037" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
48
vendor/golang.org/x/net/html/charset/testdata/meta-charset-attribute.html
generated
vendored
Normal file
48
vendor/golang.org/x/net/html/charset/testdata/meta-charset-attribute.html
generated
vendored
Normal file
|
@ -0,0 +1,48 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta charset="iso-8859-15"> <title>meta charset attribute</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="The character encoding of the page can be set by a meta element with charset attribute.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-15.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>meta charset attribute</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">The character encoding of the page can be set by a meta element with charset attribute.</p>
|
||||||
|
<div class="notes"><p><p>The only character encoding declaration for this HTML file is in the charset attribute of the meta element, which declares the encoding to be ISO 8859-15.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ÜÀÚ</code>. This matches the sequence of bytes above when they are interpreted as ISO 8859-15. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-015">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-009<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#basics" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-009" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
48
vendor/golang.org/x/net/html/charset/testdata/meta-content-attribute.html
generated
vendored
Normal file
48
vendor/golang.org/x/net/html/charset/testdata/meta-content-attribute.html
generated
vendored
Normal file
|
@ -0,0 +1,48 @@
|
||||||
|
<!DOCTYPE html>
|
||||||
|
<html lang="en" >
|
||||||
|
<head>
|
||||||
|
<meta http-equiv="content-type" content="text/html; charset=iso-8859-15"> <title>meta content attribute</title>
|
||||||
|
<link rel='author' title='Richard Ishida' href='mailto:ishida@w3.org'>
|
||||||
|
<link rel='help' href='http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream'>
|
||||||
|
<link rel="stylesheet" type="text/css" href="./generatedtests.css">
|
||||||
|
<script src="http://w3c-test.org/resources/testharness.js"></script>
|
||||||
|
<script src="http://w3c-test.org/resources/testharnessreport.js"></script>
|
||||||
|
<meta name='flags' content='http'>
|
||||||
|
<meta name="assert" content="The character encoding of the page can be set by a meta element with http-equiv and content attributes.">
|
||||||
|
<style type='text/css'>
|
||||||
|
.test div { width: 50px; }</style>
|
||||||
|
<link rel="stylesheet" type="text/css" href="the-input-byte-stream/support/encodingtests-15.css">
|
||||||
|
</head>
|
||||||
|
<body>
|
||||||
|
<p class='title'>meta content attribute</p>
|
||||||
|
|
||||||
|
|
||||||
|
<div id='log'></div>
|
||||||
|
|
||||||
|
|
||||||
|
<div class='test'><div id='box' class='ýäè'> </div></div>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
<div class='description'>
|
||||||
|
<p class="assertion" title="Assertion">The character encoding of the page can be set by a meta element with http-equiv and content attributes.</p>
|
||||||
|
<div class="notes"><p><p>The only character encoding declaration for this HTML file is in the content attribute of the meta element, which declares the encoding to be ISO 8859-15.</p><p>The test contains a div with a class name that contains the following sequence of bytes: 0xC3 0xBD 0xC3 0xA4 0xC3 0xA8. These represent different sequences of characters in ISO 8859-15, ISO 8859-1 and UTF-8. The external, UTF-8-encoded stylesheet contains a selector <code>.test div.ÜÀÚ</code>. This matches the sequence of bytes above when they are interpreted as ISO 8859-15. If the class name matches the selector then the test will pass.</p></p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="nexttest"><div><a href="generate?test=the-input-byte-stream-009">Next test</a></div><div class="doctype">HTML5</div>
|
||||||
|
<p class="jump">the-input-byte-stream-007<br /><a href="/International/tests/html5/the-input-byte-stream/results-basics#basics" target="_blank">Result summary & related tests</a><br /><a href="http://w3c-test.org/framework/details/i18n-html5/the-input-byte-stream-007" target="_blank">Detailed results for this test</a><br/> <a href="http://www.w3.org/TR/html5/syntax.html#the-input-byte-stream" target="_blank">Link to spec</a></p>
|
||||||
|
<div class='prereq'>Assumptions: <ul><li>The default encoding for the browser you are testing is not set to ISO 8859-15.</li>
|
||||||
|
<li>The test is read from a server that supports HTTP.</li></ul></div>
|
||||||
|
</div>
|
||||||
|
<script>
|
||||||
|
test(function() {
|
||||||
|
assert_equals(document.getElementById('box').offsetWidth, 100);
|
||||||
|
}, " ");
|
||||||
|
</script>
|
||||||
|
|
||||||
|
</body>
|
||||||
|
</html>
|
||||||
|
|
||||||
|
|
|
@ -0,0 +1,104 @@
|
||||||
|
// Copyright 2011 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
// Section 12.2.3.2 of the HTML5 specification says "The following elements
|
||||||
|
// have varying levels of special parsing rules".
|
||||||
|
// https://html.spec.whatwg.org/multipage/syntax.html#the-stack-of-open-elements
|
||||||
|
var isSpecialElementMap = map[string]bool{
|
||||||
|
"address": true,
|
||||||
|
"applet": true,
|
||||||
|
"area": true,
|
||||||
|
"article": true,
|
||||||
|
"aside": true,
|
||||||
|
"base": true,
|
||||||
|
"basefont": true,
|
||||||
|
"bgsound": true,
|
||||||
|
"blockquote": true,
|
||||||
|
"body": true,
|
||||||
|
"br": true,
|
||||||
|
"button": true,
|
||||||
|
"caption": true,
|
||||||
|
"center": true,
|
||||||
|
"col": true,
|
||||||
|
"colgroup": true,
|
||||||
|
"dd": true,
|
||||||
|
"details": true,
|
||||||
|
"dir": true,
|
||||||
|
"div": true,
|
||||||
|
"dl": true,
|
||||||
|
"dt": true,
|
||||||
|
"embed": true,
|
||||||
|
"fieldset": true,
|
||||||
|
"figcaption": true,
|
||||||
|
"figure": true,
|
||||||
|
"footer": true,
|
||||||
|
"form": true,
|
||||||
|
"frame": true,
|
||||||
|
"frameset": true,
|
||||||
|
"h1": true,
|
||||||
|
"h2": true,
|
||||||
|
"h3": true,
|
||||||
|
"h4": true,
|
||||||
|
"h5": true,
|
||||||
|
"h6": true,
|
||||||
|
"head": true,
|
||||||
|
"header": true,
|
||||||
|
"hgroup": true,
|
||||||
|
"hr": true,
|
||||||
|
"html": true,
|
||||||
|
"iframe": true,
|
||||||
|
"img": true,
|
||||||
|
"input": true,
|
||||||
|
"isindex": true, // The 'isindex' element has been removed, but keep it for backwards compatibility.
|
||||||
|
"keygen": true,
|
||||||
|
"li": true,
|
||||||
|
"link": true,
|
||||||
|
"listing": true,
|
||||||
|
"main": true,
|
||||||
|
"marquee": true,
|
||||||
|
"menu": true,
|
||||||
|
"meta": true,
|
||||||
|
"nav": true,
|
||||||
|
"noembed": true,
|
||||||
|
"noframes": true,
|
||||||
|
"noscript": true,
|
||||||
|
"object": true,
|
||||||
|
"ol": true,
|
||||||
|
"p": true,
|
||||||
|
"param": true,
|
||||||
|
"plaintext": true,
|
||||||
|
"pre": true,
|
||||||
|
"script": true,
|
||||||
|
"section": true,
|
||||||
|
"select": true,
|
||||||
|
"source": true,
|
||||||
|
"style": true,
|
||||||
|
"summary": true,
|
||||||
|
"table": true,
|
||||||
|
"tbody": true,
|
||||||
|
"td": true,
|
||||||
|
"template": true,
|
||||||
|
"textarea": true,
|
||||||
|
"tfoot": true,
|
||||||
|
"th": true,
|
||||||
|
"thead": true,
|
||||||
|
"title": true,
|
||||||
|
"tr": true,
|
||||||
|
"track": true,
|
||||||
|
"ul": true,
|
||||||
|
"wbr": true,
|
||||||
|
"xmp": true,
|
||||||
|
}
|
||||||
|
|
||||||
|
func isSpecialElement(element *Node) bool {
|
||||||
|
switch element.Namespace {
|
||||||
|
case "", "html":
|
||||||
|
return isSpecialElementMap[element.Data]
|
||||||
|
case "svg":
|
||||||
|
return element.Data == "foreignObject"
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
|
@ -0,0 +1,106 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
/*
|
||||||
|
Package html implements an HTML5-compliant tokenizer and parser.
|
||||||
|
|
||||||
|
Tokenization is done by creating a Tokenizer for an io.Reader r. It is the
|
||||||
|
caller's responsibility to ensure that r provides UTF-8 encoded HTML.
|
||||||
|
|
||||||
|
z := html.NewTokenizer(r)
|
||||||
|
|
||||||
|
Given a Tokenizer z, the HTML is tokenized by repeatedly calling z.Next(),
|
||||||
|
which parses the next token and returns its type, or an error:
|
||||||
|
|
||||||
|
for {
|
||||||
|
tt := z.Next()
|
||||||
|
if tt == html.ErrorToken {
|
||||||
|
// ...
|
||||||
|
return ...
|
||||||
|
}
|
||||||
|
// Process the current token.
|
||||||
|
}
|
||||||
|
|
||||||
|
There are two APIs for retrieving the current token. The high-level API is to
|
||||||
|
call Token; the low-level API is to call Text or TagName / TagAttr. Both APIs
|
||||||
|
allow optionally calling Raw after Next but before Token, Text, TagName, or
|
||||||
|
TagAttr. In EBNF notation, the valid call sequence per token is:
|
||||||
|
|
||||||
|
Next {Raw} [ Token | Text | TagName {TagAttr} ]
|
||||||
|
|
||||||
|
Token returns an independent data structure that completely describes a token.
|
||||||
|
Entities (such as "<") are unescaped, tag names and attribute keys are
|
||||||
|
lower-cased, and attributes are collected into a []Attribute. For example:
|
||||||
|
|
||||||
|
for {
|
||||||
|
if z.Next() == html.ErrorToken {
|
||||||
|
// Returning io.EOF indicates success.
|
||||||
|
return z.Err()
|
||||||
|
}
|
||||||
|
emitToken(z.Token())
|
||||||
|
}
|
||||||
|
|
||||||
|
The low-level API performs fewer allocations and copies, but the contents of
|
||||||
|
the []byte values returned by Text, TagName and TagAttr may change on the next
|
||||||
|
call to Next. For example, to extract an HTML page's anchor text:
|
||||||
|
|
||||||
|
depth := 0
|
||||||
|
for {
|
||||||
|
tt := z.Next()
|
||||||
|
switch tt {
|
||||||
|
case html.ErrorToken:
|
||||||
|
return z.Err()
|
||||||
|
case html.TextToken:
|
||||||
|
if depth > 0 {
|
||||||
|
// emitBytes should copy the []byte it receives,
|
||||||
|
// if it doesn't process it immediately.
|
||||||
|
emitBytes(z.Text())
|
||||||
|
}
|
||||||
|
case html.StartTagToken, html.EndTagToken:
|
||||||
|
tn, _ := z.TagName()
|
||||||
|
if len(tn) == 1 && tn[0] == 'a' {
|
||||||
|
if tt == html.StartTagToken {
|
||||||
|
depth++
|
||||||
|
} else {
|
||||||
|
depth--
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
Parsing is done by calling Parse with an io.Reader, which returns the root of
|
||||||
|
the parse tree (the document element) as a *Node. It is the caller's
|
||||||
|
responsibility to ensure that the Reader provides UTF-8 encoded HTML. For
|
||||||
|
example, to process each anchor node in depth-first order:
|
||||||
|
|
||||||
|
doc, err := html.Parse(r)
|
||||||
|
if err != nil {
|
||||||
|
// ...
|
||||||
|
}
|
||||||
|
var f func(*html.Node)
|
||||||
|
f = func(n *html.Node) {
|
||||||
|
if n.Type == html.ElementNode && n.Data == "a" {
|
||||||
|
// Do something with n...
|
||||||
|
}
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
f(c)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
f(doc)
|
||||||
|
|
||||||
|
The relevant specifications include:
|
||||||
|
https://html.spec.whatwg.org/multipage/syntax.html and
|
||||||
|
https://html.spec.whatwg.org/multipage/syntax.html#tokenization
|
||||||
|
*/
|
||||||
|
package html // import "golang.org/x/net/html"
|
||||||
|
|
||||||
|
// The tokenization algorithm implemented by this package is not a line-by-line
|
||||||
|
// transliteration of the relatively verbose state-machine in the WHATWG
|
||||||
|
// specification. A more direct approach is used instead, where the program
|
||||||
|
// counter implies the state, such as whether it is tokenizing a tag or a text
|
||||||
|
// node. Specification compliance is verified by checking expected and actual
|
||||||
|
// outputs over a test suite rather than aiming for algorithmic fidelity.
|
||||||
|
|
||||||
|
// TODO(nigeltao): Does a DOM API belong in this package or a separate one?
|
||||||
|
// TODO(nigeltao): How does parsing interact with a JavaScript engine?
|
|
@ -0,0 +1,156 @@
|
||||||
|
// Copyright 2011 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
// parseDoctype parses the data from a DoctypeToken into a name,
|
||||||
|
// public identifier, and system identifier. It returns a Node whose Type
|
||||||
|
// is DoctypeNode, whose Data is the name, and which has attributes
|
||||||
|
// named "system" and "public" for the two identifiers if they were present.
|
||||||
|
// quirks is whether the document should be parsed in "quirks mode".
|
||||||
|
func parseDoctype(s string) (n *Node, quirks bool) {
|
||||||
|
n = &Node{Type: DoctypeNode}
|
||||||
|
|
||||||
|
// Find the name.
|
||||||
|
space := strings.IndexAny(s, whitespace)
|
||||||
|
if space == -1 {
|
||||||
|
space = len(s)
|
||||||
|
}
|
||||||
|
n.Data = s[:space]
|
||||||
|
// The comparison to "html" is case-sensitive.
|
||||||
|
if n.Data != "html" {
|
||||||
|
quirks = true
|
||||||
|
}
|
||||||
|
n.Data = strings.ToLower(n.Data)
|
||||||
|
s = strings.TrimLeft(s[space:], whitespace)
|
||||||
|
|
||||||
|
if len(s) < 6 {
|
||||||
|
// It can't start with "PUBLIC" or "SYSTEM".
|
||||||
|
// Ignore the rest of the string.
|
||||||
|
return n, quirks || s != ""
|
||||||
|
}
|
||||||
|
|
||||||
|
key := strings.ToLower(s[:6])
|
||||||
|
s = s[6:]
|
||||||
|
for key == "public" || key == "system" {
|
||||||
|
s = strings.TrimLeft(s, whitespace)
|
||||||
|
if s == "" {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
quote := s[0]
|
||||||
|
if quote != '"' && quote != '\'' {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
s = s[1:]
|
||||||
|
q := strings.IndexRune(s, rune(quote))
|
||||||
|
var id string
|
||||||
|
if q == -1 {
|
||||||
|
id = s
|
||||||
|
s = ""
|
||||||
|
} else {
|
||||||
|
id = s[:q]
|
||||||
|
s = s[q+1:]
|
||||||
|
}
|
||||||
|
n.Attr = append(n.Attr, Attribute{Key: key, Val: id})
|
||||||
|
if key == "public" {
|
||||||
|
key = "system"
|
||||||
|
} else {
|
||||||
|
key = ""
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if key != "" || s != "" {
|
||||||
|
quirks = true
|
||||||
|
} else if len(n.Attr) > 0 {
|
||||||
|
if n.Attr[0].Key == "public" {
|
||||||
|
public := strings.ToLower(n.Attr[0].Val)
|
||||||
|
switch public {
|
||||||
|
case "-//w3o//dtd w3 html strict 3.0//en//", "-/w3d/dtd html 4.0 transitional/en", "html":
|
||||||
|
quirks = true
|
||||||
|
default:
|
||||||
|
for _, q := range quirkyIDs {
|
||||||
|
if strings.HasPrefix(public, q) {
|
||||||
|
quirks = true
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// The following two public IDs only cause quirks mode if there is no system ID.
|
||||||
|
if len(n.Attr) == 1 && (strings.HasPrefix(public, "-//w3c//dtd html 4.01 frameset//") ||
|
||||||
|
strings.HasPrefix(public, "-//w3c//dtd html 4.01 transitional//")) {
|
||||||
|
quirks = true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if lastAttr := n.Attr[len(n.Attr)-1]; lastAttr.Key == "system" &&
|
||||||
|
strings.ToLower(lastAttr.Val) == "http://www.ibm.com/data/dtd/v11/ibmxhtml1-transitional.dtd" {
|
||||||
|
quirks = true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return n, quirks
|
||||||
|
}
|
||||||
|
|
||||||
|
// quirkyIDs is a list of public doctype identifiers that cause a document
|
||||||
|
// to be interpreted in quirks mode. The identifiers should be in lower case.
|
||||||
|
var quirkyIDs = []string{
|
||||||
|
"+//silmaril//dtd html pro v0r11 19970101//",
|
||||||
|
"-//advasoft ltd//dtd html 3.0 aswedit + extensions//",
|
||||||
|
"-//as//dtd html 3.0 aswedit + extensions//",
|
||||||
|
"-//ietf//dtd html 2.0 level 1//",
|
||||||
|
"-//ietf//dtd html 2.0 level 2//",
|
||||||
|
"-//ietf//dtd html 2.0 strict level 1//",
|
||||||
|
"-//ietf//dtd html 2.0 strict level 2//",
|
||||||
|
"-//ietf//dtd html 2.0 strict//",
|
||||||
|
"-//ietf//dtd html 2.0//",
|
||||||
|
"-//ietf//dtd html 2.1e//",
|
||||||
|
"-//ietf//dtd html 3.0//",
|
||||||
|
"-//ietf//dtd html 3.2 final//",
|
||||||
|
"-//ietf//dtd html 3.2//",
|
||||||
|
"-//ietf//dtd html 3//",
|
||||||
|
"-//ietf//dtd html level 0//",
|
||||||
|
"-//ietf//dtd html level 1//",
|
||||||
|
"-//ietf//dtd html level 2//",
|
||||||
|
"-//ietf//dtd html level 3//",
|
||||||
|
"-//ietf//dtd html strict level 0//",
|
||||||
|
"-//ietf//dtd html strict level 1//",
|
||||||
|
"-//ietf//dtd html strict level 2//",
|
||||||
|
"-//ietf//dtd html strict level 3//",
|
||||||
|
"-//ietf//dtd html strict//",
|
||||||
|
"-//ietf//dtd html//",
|
||||||
|
"-//metrius//dtd metrius presentational//",
|
||||||
|
"-//microsoft//dtd internet explorer 2.0 html strict//",
|
||||||
|
"-//microsoft//dtd internet explorer 2.0 html//",
|
||||||
|
"-//microsoft//dtd internet explorer 2.0 tables//",
|
||||||
|
"-//microsoft//dtd internet explorer 3.0 html strict//",
|
||||||
|
"-//microsoft//dtd internet explorer 3.0 html//",
|
||||||
|
"-//microsoft//dtd internet explorer 3.0 tables//",
|
||||||
|
"-//netscape comm. corp.//dtd html//",
|
||||||
|
"-//netscape comm. corp.//dtd strict html//",
|
||||||
|
"-//o'reilly and associates//dtd html 2.0//",
|
||||||
|
"-//o'reilly and associates//dtd html extended 1.0//",
|
||||||
|
"-//o'reilly and associates//dtd html extended relaxed 1.0//",
|
||||||
|
"-//softquad software//dtd hotmetal pro 6.0::19990601::extensions to html 4.0//",
|
||||||
|
"-//softquad//dtd hotmetal pro 4.0::19971010::extensions to html 4.0//",
|
||||||
|
"-//spyglass//dtd html 2.0 extended//",
|
||||||
|
"-//sq//dtd html 2.0 hotmetal + extensions//",
|
||||||
|
"-//sun microsystems corp.//dtd hotjava html//",
|
||||||
|
"-//sun microsystems corp.//dtd hotjava strict html//",
|
||||||
|
"-//w3c//dtd html 3 1995-03-24//",
|
||||||
|
"-//w3c//dtd html 3.2 draft//",
|
||||||
|
"-//w3c//dtd html 3.2 final//",
|
||||||
|
"-//w3c//dtd html 3.2//",
|
||||||
|
"-//w3c//dtd html 3.2s draft//",
|
||||||
|
"-//w3c//dtd html 4.0 frameset//",
|
||||||
|
"-//w3c//dtd html 4.0 transitional//",
|
||||||
|
"-//w3c//dtd html experimental 19960712//",
|
||||||
|
"-//w3c//dtd html experimental 970421//",
|
||||||
|
"-//w3c//dtd w3 html//",
|
||||||
|
"-//w3o//dtd w3 html 3.0//",
|
||||||
|
"-//webtechs//dtd mozilla html 2.0//",
|
||||||
|
"-//webtechs//dtd mozilla html//",
|
||||||
|
}
|
File diff suppressed because it is too large
Load Diff
|
@ -0,0 +1,29 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
"unicode/utf8"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestEntityLength(t *testing.T) {
|
||||||
|
// We verify that the length of UTF-8 encoding of each value is <= 1 + len(key).
|
||||||
|
// The +1 comes from the leading "&". This property implies that the length of
|
||||||
|
// unescaped text is <= the length of escaped text.
|
||||||
|
for k, v := range entity {
|
||||||
|
if 1+len(k) < utf8.RuneLen(v) {
|
||||||
|
t.Error("escaped entity &" + k + " is shorter than its UTF-8 encoding " + string(v))
|
||||||
|
}
|
||||||
|
if len(k) > longestEntityWithoutSemicolon && k[len(k)-1] != ';' {
|
||||||
|
t.Errorf("entity name %s is %d characters, but longestEntityWithoutSemicolon=%d", k, len(k), longestEntityWithoutSemicolon)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for k, v := range entity2 {
|
||||||
|
if 1+len(k) < utf8.RuneLen(v[0])+utf8.RuneLen(v[1]) {
|
||||||
|
t.Error("escaped entity &" + k + " is shorter than its UTF-8 encoding " + string(v[0]) + string(v[1]))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,258 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"strings"
|
||||||
|
"unicode/utf8"
|
||||||
|
)
|
||||||
|
|
||||||
|
// These replacements permit compatibility with old numeric entities that
|
||||||
|
// assumed Windows-1252 encoding.
|
||||||
|
// https://html.spec.whatwg.org/multipage/syntax.html#consume-a-character-reference
|
||||||
|
var replacementTable = [...]rune{
|
||||||
|
'\u20AC', // First entry is what 0x80 should be replaced with.
|
||||||
|
'\u0081',
|
||||||
|
'\u201A',
|
||||||
|
'\u0192',
|
||||||
|
'\u201E',
|
||||||
|
'\u2026',
|
||||||
|
'\u2020',
|
||||||
|
'\u2021',
|
||||||
|
'\u02C6',
|
||||||
|
'\u2030',
|
||||||
|
'\u0160',
|
||||||
|
'\u2039',
|
||||||
|
'\u0152',
|
||||||
|
'\u008D',
|
||||||
|
'\u017D',
|
||||||
|
'\u008F',
|
||||||
|
'\u0090',
|
||||||
|
'\u2018',
|
||||||
|
'\u2019',
|
||||||
|
'\u201C',
|
||||||
|
'\u201D',
|
||||||
|
'\u2022',
|
||||||
|
'\u2013',
|
||||||
|
'\u2014',
|
||||||
|
'\u02DC',
|
||||||
|
'\u2122',
|
||||||
|
'\u0161',
|
||||||
|
'\u203A',
|
||||||
|
'\u0153',
|
||||||
|
'\u009D',
|
||||||
|
'\u017E',
|
||||||
|
'\u0178', // Last entry is 0x9F.
|
||||||
|
// 0x00->'\uFFFD' is handled programmatically.
|
||||||
|
// 0x0D->'\u000D' is a no-op.
|
||||||
|
}
|
||||||
|
|
||||||
|
// unescapeEntity reads an entity like "<" from b[src:] and writes the
|
||||||
|
// corresponding "<" to b[dst:], returning the incremented dst and src cursors.
|
||||||
|
// Precondition: b[src] == '&' && dst <= src.
|
||||||
|
// attribute should be true if parsing an attribute value.
|
||||||
|
func unescapeEntity(b []byte, dst, src int, attribute bool) (dst1, src1 int) {
|
||||||
|
// https://html.spec.whatwg.org/multipage/syntax.html#consume-a-character-reference
|
||||||
|
|
||||||
|
// i starts at 1 because we already know that s[0] == '&'.
|
||||||
|
i, s := 1, b[src:]
|
||||||
|
|
||||||
|
if len(s) <= 1 {
|
||||||
|
b[dst] = b[src]
|
||||||
|
return dst + 1, src + 1
|
||||||
|
}
|
||||||
|
|
||||||
|
if s[i] == '#' {
|
||||||
|
if len(s) <= 3 { // We need to have at least "&#.".
|
||||||
|
b[dst] = b[src]
|
||||||
|
return dst + 1, src + 1
|
||||||
|
}
|
||||||
|
i++
|
||||||
|
c := s[i]
|
||||||
|
hex := false
|
||||||
|
if c == 'x' || c == 'X' {
|
||||||
|
hex = true
|
||||||
|
i++
|
||||||
|
}
|
||||||
|
|
||||||
|
x := '\x00'
|
||||||
|
for i < len(s) {
|
||||||
|
c = s[i]
|
||||||
|
i++
|
||||||
|
if hex {
|
||||||
|
if '0' <= c && c <= '9' {
|
||||||
|
x = 16*x + rune(c) - '0'
|
||||||
|
continue
|
||||||
|
} else if 'a' <= c && c <= 'f' {
|
||||||
|
x = 16*x + rune(c) - 'a' + 10
|
||||||
|
continue
|
||||||
|
} else if 'A' <= c && c <= 'F' {
|
||||||
|
x = 16*x + rune(c) - 'A' + 10
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
} else if '0' <= c && c <= '9' {
|
||||||
|
x = 10*x + rune(c) - '0'
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if c != ';' {
|
||||||
|
i--
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
if i <= 3 { // No characters matched.
|
||||||
|
b[dst] = b[src]
|
||||||
|
return dst + 1, src + 1
|
||||||
|
}
|
||||||
|
|
||||||
|
if 0x80 <= x && x <= 0x9F {
|
||||||
|
// Replace characters from Windows-1252 with UTF-8 equivalents.
|
||||||
|
x = replacementTable[x-0x80]
|
||||||
|
} else if x == 0 || (0xD800 <= x && x <= 0xDFFF) || x > 0x10FFFF {
|
||||||
|
// Replace invalid characters with the replacement character.
|
||||||
|
x = '\uFFFD'
|
||||||
|
}
|
||||||
|
|
||||||
|
return dst + utf8.EncodeRune(b[dst:], x), src + i
|
||||||
|
}
|
||||||
|
|
||||||
|
// Consume the maximum number of characters possible, with the
|
||||||
|
// consumed characters matching one of the named references.
|
||||||
|
|
||||||
|
for i < len(s) {
|
||||||
|
c := s[i]
|
||||||
|
i++
|
||||||
|
// Lower-cased characters are more common in entities, so we check for them first.
|
||||||
|
if 'a' <= c && c <= 'z' || 'A' <= c && c <= 'Z' || '0' <= c && c <= '9' {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if c != ';' {
|
||||||
|
i--
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
entityName := string(s[1:i])
|
||||||
|
if entityName == "" {
|
||||||
|
// No-op.
|
||||||
|
} else if attribute && entityName[len(entityName)-1] != ';' && len(s) > i && s[i] == '=' {
|
||||||
|
// No-op.
|
||||||
|
} else if x := entity[entityName]; x != 0 {
|
||||||
|
return dst + utf8.EncodeRune(b[dst:], x), src + i
|
||||||
|
} else if x := entity2[entityName]; x[0] != 0 {
|
||||||
|
dst1 := dst + utf8.EncodeRune(b[dst:], x[0])
|
||||||
|
return dst1 + utf8.EncodeRune(b[dst1:], x[1]), src + i
|
||||||
|
} else if !attribute {
|
||||||
|
maxLen := len(entityName) - 1
|
||||||
|
if maxLen > longestEntityWithoutSemicolon {
|
||||||
|
maxLen = longestEntityWithoutSemicolon
|
||||||
|
}
|
||||||
|
for j := maxLen; j > 1; j-- {
|
||||||
|
if x := entity[entityName[:j]]; x != 0 {
|
||||||
|
return dst + utf8.EncodeRune(b[dst:], x), src + j + 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
dst1, src1 = dst+i, src+i
|
||||||
|
copy(b[dst:dst1], b[src:src1])
|
||||||
|
return dst1, src1
|
||||||
|
}
|
||||||
|
|
||||||
|
// unescape unescapes b's entities in-place, so that "a<b" becomes "a<b".
|
||||||
|
// attribute should be true if parsing an attribute value.
|
||||||
|
func unescape(b []byte, attribute bool) []byte {
|
||||||
|
for i, c := range b {
|
||||||
|
if c == '&' {
|
||||||
|
dst, src := unescapeEntity(b, i, i, attribute)
|
||||||
|
for src < len(b) {
|
||||||
|
c := b[src]
|
||||||
|
if c == '&' {
|
||||||
|
dst, src = unescapeEntity(b, dst, src, attribute)
|
||||||
|
} else {
|
||||||
|
b[dst] = c
|
||||||
|
dst, src = dst+1, src+1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return b[0:dst]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return b
|
||||||
|
}
|
||||||
|
|
||||||
|
// lower lower-cases the A-Z bytes in b in-place, so that "aBc" becomes "abc".
|
||||||
|
func lower(b []byte) []byte {
|
||||||
|
for i, c := range b {
|
||||||
|
if 'A' <= c && c <= 'Z' {
|
||||||
|
b[i] = c + 'a' - 'A'
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return b
|
||||||
|
}
|
||||||
|
|
||||||
|
const escapedChars = "&'<>\"\r"
|
||||||
|
|
||||||
|
func escape(w writer, s string) error {
|
||||||
|
i := strings.IndexAny(s, escapedChars)
|
||||||
|
for i != -1 {
|
||||||
|
if _, err := w.WriteString(s[:i]); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
var esc string
|
||||||
|
switch s[i] {
|
||||||
|
case '&':
|
||||||
|
esc = "&"
|
||||||
|
case '\'':
|
||||||
|
// "'" is shorter than "'" and apos was not in HTML until HTML5.
|
||||||
|
esc = "'"
|
||||||
|
case '<':
|
||||||
|
esc = "<"
|
||||||
|
case '>':
|
||||||
|
esc = ">"
|
||||||
|
case '"':
|
||||||
|
// """ is shorter than """.
|
||||||
|
esc = """
|
||||||
|
case '\r':
|
||||||
|
esc = " "
|
||||||
|
default:
|
||||||
|
panic("unrecognized escape character")
|
||||||
|
}
|
||||||
|
s = s[i+1:]
|
||||||
|
if _, err := w.WriteString(esc); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
i = strings.IndexAny(s, escapedChars)
|
||||||
|
}
|
||||||
|
_, err := w.WriteString(s)
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
// EscapeString escapes special characters like "<" to become "<". It
|
||||||
|
// escapes only five such characters: <, >, &, ' and ".
|
||||||
|
// UnescapeString(EscapeString(s)) == s always holds, but the converse isn't
|
||||||
|
// always true.
|
||||||
|
func EscapeString(s string) string {
|
||||||
|
if strings.IndexAny(s, escapedChars) == -1 {
|
||||||
|
return s
|
||||||
|
}
|
||||||
|
var buf bytes.Buffer
|
||||||
|
escape(&buf, s)
|
||||||
|
return buf.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
// UnescapeString unescapes entities like "<" to become "<". It unescapes a
|
||||||
|
// larger range of entities than EscapeString escapes. For example, "á"
|
||||||
|
// unescapes to "á", as does "á" and "&xE1;".
|
||||||
|
// UnescapeString(EscapeString(s)) == s always holds, but the converse isn't
|
||||||
|
// always true.
|
||||||
|
func UnescapeString(s string) string {
|
||||||
|
for _, c := range s {
|
||||||
|
if c == '&' {
|
||||||
|
return string(unescape([]byte(s), false))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return s
|
||||||
|
}
|
|
@ -0,0 +1,97 @@
|
||||||
|
// Copyright 2013 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import "testing"
|
||||||
|
|
||||||
|
type unescapeTest struct {
|
||||||
|
// A short description of the test case.
|
||||||
|
desc string
|
||||||
|
// The HTML text.
|
||||||
|
html string
|
||||||
|
// The unescaped text.
|
||||||
|
unescaped string
|
||||||
|
}
|
||||||
|
|
||||||
|
var unescapeTests = []unescapeTest{
|
||||||
|
// Handle no entities.
|
||||||
|
{
|
||||||
|
"copy",
|
||||||
|
"A\ttext\nstring",
|
||||||
|
"A\ttext\nstring",
|
||||||
|
},
|
||||||
|
// Handle simple named entities.
|
||||||
|
{
|
||||||
|
"simple",
|
||||||
|
"& > <",
|
||||||
|
"& > <",
|
||||||
|
},
|
||||||
|
// Handle hitting the end of the string.
|
||||||
|
{
|
||||||
|
"stringEnd",
|
||||||
|
"& &",
|
||||||
|
"& &",
|
||||||
|
},
|
||||||
|
// Handle entities with two codepoints.
|
||||||
|
{
|
||||||
|
"multiCodepoint",
|
||||||
|
"text ⋛︀ blah",
|
||||||
|
"text \u22db\ufe00 blah",
|
||||||
|
},
|
||||||
|
// Handle decimal numeric entities.
|
||||||
|
{
|
||||||
|
"decimalEntity",
|
||||||
|
"Delta = Δ ",
|
||||||
|
"Delta = Δ ",
|
||||||
|
},
|
||||||
|
// Handle hexadecimal numeric entities.
|
||||||
|
{
|
||||||
|
"hexadecimalEntity",
|
||||||
|
"Lambda = λ = λ ",
|
||||||
|
"Lambda = λ = λ ",
|
||||||
|
},
|
||||||
|
// Handle numeric early termination.
|
||||||
|
{
|
||||||
|
"numericEnds",
|
||||||
|
"&# &#x €43 © = ©f = ©",
|
||||||
|
"&# &#x €43 © = ©f = ©",
|
||||||
|
},
|
||||||
|
// Handle numeric ISO-8859-1 entity replacements.
|
||||||
|
{
|
||||||
|
"numericReplacements",
|
||||||
|
"Footnote‡",
|
||||||
|
"Footnote‡",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestUnescape(t *testing.T) {
|
||||||
|
for _, tt := range unescapeTests {
|
||||||
|
unescaped := UnescapeString(tt.html)
|
||||||
|
if unescaped != tt.unescaped {
|
||||||
|
t.Errorf("TestUnescape %s: want %q, got %q", tt.desc, tt.unescaped, unescaped)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestUnescapeEscape(t *testing.T) {
|
||||||
|
ss := []string{
|
||||||
|
``,
|
||||||
|
`abc def`,
|
||||||
|
`a & b`,
|
||||||
|
`a&b`,
|
||||||
|
`a & b`,
|
||||||
|
`"`,
|
||||||
|
`"`,
|
||||||
|
`"<&>"`,
|
||||||
|
`"<&>"`,
|
||||||
|
`3&5==1 && 0<1, "0<1", a+acute=á`,
|
||||||
|
`The special characters are: <, >, &, ' and "`,
|
||||||
|
}
|
||||||
|
for _, s := range ss {
|
||||||
|
if got := UnescapeString(EscapeString(s)); got != s {
|
||||||
|
t.Errorf("got %q want %q", got, s)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,40 @@
|
||||||
|
// Copyright 2012 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
// This example demonstrates parsing HTML data and walking the resulting tree.
|
||||||
|
package html_test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"log"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"golang.org/x/net/html"
|
||||||
|
)
|
||||||
|
|
||||||
|
func ExampleParse() {
|
||||||
|
s := `<p>Links:</p><ul><li><a href="foo">Foo</a><li><a href="/bar/baz">BarBaz</a></ul>`
|
||||||
|
doc, err := html.Parse(strings.NewReader(s))
|
||||||
|
if err != nil {
|
||||||
|
log.Fatal(err)
|
||||||
|
}
|
||||||
|
var f func(*html.Node)
|
||||||
|
f = func(n *html.Node) {
|
||||||
|
if n.Type == html.ElementNode && n.Data == "a" {
|
||||||
|
for _, a := range n.Attr {
|
||||||
|
if a.Key == "href" {
|
||||||
|
fmt.Println(a.Val)
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
f(c)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
f(doc)
|
||||||
|
// Output:
|
||||||
|
// foo
|
||||||
|
// /bar/baz
|
||||||
|
}
|
|
@ -0,0 +1,226 @@
|
||||||
|
// Copyright 2011 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
func adjustAttributeNames(aa []Attribute, nameMap map[string]string) {
|
||||||
|
for i := range aa {
|
||||||
|
if newName, ok := nameMap[aa[i].Key]; ok {
|
||||||
|
aa[i].Key = newName
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func adjustForeignAttributes(aa []Attribute) {
|
||||||
|
for i, a := range aa {
|
||||||
|
if a.Key == "" || a.Key[0] != 'x' {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
switch a.Key {
|
||||||
|
case "xlink:actuate", "xlink:arcrole", "xlink:href", "xlink:role", "xlink:show",
|
||||||
|
"xlink:title", "xlink:type", "xml:base", "xml:lang", "xml:space", "xmlns:xlink":
|
||||||
|
j := strings.Index(a.Key, ":")
|
||||||
|
aa[i].Namespace = a.Key[:j]
|
||||||
|
aa[i].Key = a.Key[j+1:]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func htmlIntegrationPoint(n *Node) bool {
|
||||||
|
if n.Type != ElementNode {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
switch n.Namespace {
|
||||||
|
case "math":
|
||||||
|
if n.Data == "annotation-xml" {
|
||||||
|
for _, a := range n.Attr {
|
||||||
|
if a.Key == "encoding" {
|
||||||
|
val := strings.ToLower(a.Val)
|
||||||
|
if val == "text/html" || val == "application/xhtml+xml" {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
case "svg":
|
||||||
|
switch n.Data {
|
||||||
|
case "desc", "foreignObject", "title":
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func mathMLTextIntegrationPoint(n *Node) bool {
|
||||||
|
if n.Namespace != "math" {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
switch n.Data {
|
||||||
|
case "mi", "mo", "mn", "ms", "mtext":
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
// Section 12.2.5.5.
|
||||||
|
var breakout = map[string]bool{
|
||||||
|
"b": true,
|
||||||
|
"big": true,
|
||||||
|
"blockquote": true,
|
||||||
|
"body": true,
|
||||||
|
"br": true,
|
||||||
|
"center": true,
|
||||||
|
"code": true,
|
||||||
|
"dd": true,
|
||||||
|
"div": true,
|
||||||
|
"dl": true,
|
||||||
|
"dt": true,
|
||||||
|
"em": true,
|
||||||
|
"embed": true,
|
||||||
|
"h1": true,
|
||||||
|
"h2": true,
|
||||||
|
"h3": true,
|
||||||
|
"h4": true,
|
||||||
|
"h5": true,
|
||||||
|
"h6": true,
|
||||||
|
"head": true,
|
||||||
|
"hr": true,
|
||||||
|
"i": true,
|
||||||
|
"img": true,
|
||||||
|
"li": true,
|
||||||
|
"listing": true,
|
||||||
|
"menu": true,
|
||||||
|
"meta": true,
|
||||||
|
"nobr": true,
|
||||||
|
"ol": true,
|
||||||
|
"p": true,
|
||||||
|
"pre": true,
|
||||||
|
"ruby": true,
|
||||||
|
"s": true,
|
||||||
|
"small": true,
|
||||||
|
"span": true,
|
||||||
|
"strong": true,
|
||||||
|
"strike": true,
|
||||||
|
"sub": true,
|
||||||
|
"sup": true,
|
||||||
|
"table": true,
|
||||||
|
"tt": true,
|
||||||
|
"u": true,
|
||||||
|
"ul": true,
|
||||||
|
"var": true,
|
||||||
|
}
|
||||||
|
|
||||||
|
// Section 12.2.5.5.
|
||||||
|
var svgTagNameAdjustments = map[string]string{
|
||||||
|
"altglyph": "altGlyph",
|
||||||
|
"altglyphdef": "altGlyphDef",
|
||||||
|
"altglyphitem": "altGlyphItem",
|
||||||
|
"animatecolor": "animateColor",
|
||||||
|
"animatemotion": "animateMotion",
|
||||||
|
"animatetransform": "animateTransform",
|
||||||
|
"clippath": "clipPath",
|
||||||
|
"feblend": "feBlend",
|
||||||
|
"fecolormatrix": "feColorMatrix",
|
||||||
|
"fecomponenttransfer": "feComponentTransfer",
|
||||||
|
"fecomposite": "feComposite",
|
||||||
|
"feconvolvematrix": "feConvolveMatrix",
|
||||||
|
"fediffuselighting": "feDiffuseLighting",
|
||||||
|
"fedisplacementmap": "feDisplacementMap",
|
||||||
|
"fedistantlight": "feDistantLight",
|
||||||
|
"feflood": "feFlood",
|
||||||
|
"fefunca": "feFuncA",
|
||||||
|
"fefuncb": "feFuncB",
|
||||||
|
"fefuncg": "feFuncG",
|
||||||
|
"fefuncr": "feFuncR",
|
||||||
|
"fegaussianblur": "feGaussianBlur",
|
||||||
|
"feimage": "feImage",
|
||||||
|
"femerge": "feMerge",
|
||||||
|
"femergenode": "feMergeNode",
|
||||||
|
"femorphology": "feMorphology",
|
||||||
|
"feoffset": "feOffset",
|
||||||
|
"fepointlight": "fePointLight",
|
||||||
|
"fespecularlighting": "feSpecularLighting",
|
||||||
|
"fespotlight": "feSpotLight",
|
||||||
|
"fetile": "feTile",
|
||||||
|
"feturbulence": "feTurbulence",
|
||||||
|
"foreignobject": "foreignObject",
|
||||||
|
"glyphref": "glyphRef",
|
||||||
|
"lineargradient": "linearGradient",
|
||||||
|
"radialgradient": "radialGradient",
|
||||||
|
"textpath": "textPath",
|
||||||
|
}
|
||||||
|
|
||||||
|
// Section 12.2.5.1
|
||||||
|
var mathMLAttributeAdjustments = map[string]string{
|
||||||
|
"definitionurl": "definitionURL",
|
||||||
|
}
|
||||||
|
|
||||||
|
var svgAttributeAdjustments = map[string]string{
|
||||||
|
"attributename": "attributeName",
|
||||||
|
"attributetype": "attributeType",
|
||||||
|
"basefrequency": "baseFrequency",
|
||||||
|
"baseprofile": "baseProfile",
|
||||||
|
"calcmode": "calcMode",
|
||||||
|
"clippathunits": "clipPathUnits",
|
||||||
|
"contentscripttype": "contentScriptType",
|
||||||
|
"contentstyletype": "contentStyleType",
|
||||||
|
"diffuseconstant": "diffuseConstant",
|
||||||
|
"edgemode": "edgeMode",
|
||||||
|
"externalresourcesrequired": "externalResourcesRequired",
|
||||||
|
"filterres": "filterRes",
|
||||||
|
"filterunits": "filterUnits",
|
||||||
|
"glyphref": "glyphRef",
|
||||||
|
"gradienttransform": "gradientTransform",
|
||||||
|
"gradientunits": "gradientUnits",
|
||||||
|
"kernelmatrix": "kernelMatrix",
|
||||||
|
"kernelunitlength": "kernelUnitLength",
|
||||||
|
"keypoints": "keyPoints",
|
||||||
|
"keysplines": "keySplines",
|
||||||
|
"keytimes": "keyTimes",
|
||||||
|
"lengthadjust": "lengthAdjust",
|
||||||
|
"limitingconeangle": "limitingConeAngle",
|
||||||
|
"markerheight": "markerHeight",
|
||||||
|
"markerunits": "markerUnits",
|
||||||
|
"markerwidth": "markerWidth",
|
||||||
|
"maskcontentunits": "maskContentUnits",
|
||||||
|
"maskunits": "maskUnits",
|
||||||
|
"numoctaves": "numOctaves",
|
||||||
|
"pathlength": "pathLength",
|
||||||
|
"patterncontentunits": "patternContentUnits",
|
||||||
|
"patterntransform": "patternTransform",
|
||||||
|
"patternunits": "patternUnits",
|
||||||
|
"pointsatx": "pointsAtX",
|
||||||
|
"pointsaty": "pointsAtY",
|
||||||
|
"pointsatz": "pointsAtZ",
|
||||||
|
"preservealpha": "preserveAlpha",
|
||||||
|
"preserveaspectratio": "preserveAspectRatio",
|
||||||
|
"primitiveunits": "primitiveUnits",
|
||||||
|
"refx": "refX",
|
||||||
|
"refy": "refY",
|
||||||
|
"repeatcount": "repeatCount",
|
||||||
|
"repeatdur": "repeatDur",
|
||||||
|
"requiredextensions": "requiredExtensions",
|
||||||
|
"requiredfeatures": "requiredFeatures",
|
||||||
|
"specularconstant": "specularConstant",
|
||||||
|
"specularexponent": "specularExponent",
|
||||||
|
"spreadmethod": "spreadMethod",
|
||||||
|
"startoffset": "startOffset",
|
||||||
|
"stddeviation": "stdDeviation",
|
||||||
|
"stitchtiles": "stitchTiles",
|
||||||
|
"surfacescale": "surfaceScale",
|
||||||
|
"systemlanguage": "systemLanguage",
|
||||||
|
"tablevalues": "tableValues",
|
||||||
|
"targetx": "targetX",
|
||||||
|
"targety": "targetY",
|
||||||
|
"textlength": "textLength",
|
||||||
|
"viewbox": "viewBox",
|
||||||
|
"viewtarget": "viewTarget",
|
||||||
|
"xchannelselector": "xChannelSelector",
|
||||||
|
"ychannelselector": "yChannelSelector",
|
||||||
|
"zoomandpan": "zoomAndPan",
|
||||||
|
}
|
|
@ -0,0 +1,193 @@
|
||||||
|
// Copyright 2011 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"golang.org/x/net/html/atom"
|
||||||
|
)
|
||||||
|
|
||||||
|
// A NodeType is the type of a Node.
|
||||||
|
type NodeType uint32
|
||||||
|
|
||||||
|
const (
|
||||||
|
ErrorNode NodeType = iota
|
||||||
|
TextNode
|
||||||
|
DocumentNode
|
||||||
|
ElementNode
|
||||||
|
CommentNode
|
||||||
|
DoctypeNode
|
||||||
|
scopeMarkerNode
|
||||||
|
)
|
||||||
|
|
||||||
|
// Section 12.2.3.3 says "scope markers are inserted when entering applet
|
||||||
|
// elements, buttons, object elements, marquees, table cells, and table
|
||||||
|
// captions, and are used to prevent formatting from 'leaking'".
|
||||||
|
var scopeMarker = Node{Type: scopeMarkerNode}
|
||||||
|
|
||||||
|
// A Node consists of a NodeType and some Data (tag name for element nodes,
|
||||||
|
// content for text) and are part of a tree of Nodes. Element nodes may also
|
||||||
|
// have a Namespace and contain a slice of Attributes. Data is unescaped, so
|
||||||
|
// that it looks like "a<b" rather than "a<b". For element nodes, DataAtom
|
||||||
|
// is the atom for Data, or zero if Data is not a known tag name.
|
||||||
|
//
|
||||||
|
// An empty Namespace implies a "http://www.w3.org/1999/xhtml" namespace.
|
||||||
|
// Similarly, "math" is short for "http://www.w3.org/1998/Math/MathML", and
|
||||||
|
// "svg" is short for "http://www.w3.org/2000/svg".
|
||||||
|
type Node struct {
|
||||||
|
Parent, FirstChild, LastChild, PrevSibling, NextSibling *Node
|
||||||
|
|
||||||
|
Type NodeType
|
||||||
|
DataAtom atom.Atom
|
||||||
|
Data string
|
||||||
|
Namespace string
|
||||||
|
Attr []Attribute
|
||||||
|
}
|
||||||
|
|
||||||
|
// InsertBefore inserts newChild as a child of n, immediately before oldChild
|
||||||
|
// in the sequence of n's children. oldChild may be nil, in which case newChild
|
||||||
|
// is appended to the end of n's children.
|
||||||
|
//
|
||||||
|
// It will panic if newChild already has a parent or siblings.
|
||||||
|
func (n *Node) InsertBefore(newChild, oldChild *Node) {
|
||||||
|
if newChild.Parent != nil || newChild.PrevSibling != nil || newChild.NextSibling != nil {
|
||||||
|
panic("html: InsertBefore called for an attached child Node")
|
||||||
|
}
|
||||||
|
var prev, next *Node
|
||||||
|
if oldChild != nil {
|
||||||
|
prev, next = oldChild.PrevSibling, oldChild
|
||||||
|
} else {
|
||||||
|
prev = n.LastChild
|
||||||
|
}
|
||||||
|
if prev != nil {
|
||||||
|
prev.NextSibling = newChild
|
||||||
|
} else {
|
||||||
|
n.FirstChild = newChild
|
||||||
|
}
|
||||||
|
if next != nil {
|
||||||
|
next.PrevSibling = newChild
|
||||||
|
} else {
|
||||||
|
n.LastChild = newChild
|
||||||
|
}
|
||||||
|
newChild.Parent = n
|
||||||
|
newChild.PrevSibling = prev
|
||||||
|
newChild.NextSibling = next
|
||||||
|
}
|
||||||
|
|
||||||
|
// AppendChild adds a node c as a child of n.
|
||||||
|
//
|
||||||
|
// It will panic if c already has a parent or siblings.
|
||||||
|
func (n *Node) AppendChild(c *Node) {
|
||||||
|
if c.Parent != nil || c.PrevSibling != nil || c.NextSibling != nil {
|
||||||
|
panic("html: AppendChild called for an attached child Node")
|
||||||
|
}
|
||||||
|
last := n.LastChild
|
||||||
|
if last != nil {
|
||||||
|
last.NextSibling = c
|
||||||
|
} else {
|
||||||
|
n.FirstChild = c
|
||||||
|
}
|
||||||
|
n.LastChild = c
|
||||||
|
c.Parent = n
|
||||||
|
c.PrevSibling = last
|
||||||
|
}
|
||||||
|
|
||||||
|
// RemoveChild removes a node c that is a child of n. Afterwards, c will have
|
||||||
|
// no parent and no siblings.
|
||||||
|
//
|
||||||
|
// It will panic if c's parent is not n.
|
||||||
|
func (n *Node) RemoveChild(c *Node) {
|
||||||
|
if c.Parent != n {
|
||||||
|
panic("html: RemoveChild called for a non-child Node")
|
||||||
|
}
|
||||||
|
if n.FirstChild == c {
|
||||||
|
n.FirstChild = c.NextSibling
|
||||||
|
}
|
||||||
|
if c.NextSibling != nil {
|
||||||
|
c.NextSibling.PrevSibling = c.PrevSibling
|
||||||
|
}
|
||||||
|
if n.LastChild == c {
|
||||||
|
n.LastChild = c.PrevSibling
|
||||||
|
}
|
||||||
|
if c.PrevSibling != nil {
|
||||||
|
c.PrevSibling.NextSibling = c.NextSibling
|
||||||
|
}
|
||||||
|
c.Parent = nil
|
||||||
|
c.PrevSibling = nil
|
||||||
|
c.NextSibling = nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// reparentChildren reparents all of src's child nodes to dst.
|
||||||
|
func reparentChildren(dst, src *Node) {
|
||||||
|
for {
|
||||||
|
child := src.FirstChild
|
||||||
|
if child == nil {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
src.RemoveChild(child)
|
||||||
|
dst.AppendChild(child)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// clone returns a new node with the same type, data and attributes.
|
||||||
|
// The clone has no parent, no siblings and no children.
|
||||||
|
func (n *Node) clone() *Node {
|
||||||
|
m := &Node{
|
||||||
|
Type: n.Type,
|
||||||
|
DataAtom: n.DataAtom,
|
||||||
|
Data: n.Data,
|
||||||
|
Attr: make([]Attribute, len(n.Attr)),
|
||||||
|
}
|
||||||
|
copy(m.Attr, n.Attr)
|
||||||
|
return m
|
||||||
|
}
|
||||||
|
|
||||||
|
// nodeStack is a stack of nodes.
|
||||||
|
type nodeStack []*Node
|
||||||
|
|
||||||
|
// pop pops the stack. It will panic if s is empty.
|
||||||
|
func (s *nodeStack) pop() *Node {
|
||||||
|
i := len(*s)
|
||||||
|
n := (*s)[i-1]
|
||||||
|
*s = (*s)[:i-1]
|
||||||
|
return n
|
||||||
|
}
|
||||||
|
|
||||||
|
// top returns the most recently pushed node, or nil if s is empty.
|
||||||
|
func (s *nodeStack) top() *Node {
|
||||||
|
if i := len(*s); i > 0 {
|
||||||
|
return (*s)[i-1]
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// index returns the index of the top-most occurrence of n in the stack, or -1
|
||||||
|
// if n is not present.
|
||||||
|
func (s *nodeStack) index(n *Node) int {
|
||||||
|
for i := len(*s) - 1; i >= 0; i-- {
|
||||||
|
if (*s)[i] == n {
|
||||||
|
return i
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return -1
|
||||||
|
}
|
||||||
|
|
||||||
|
// insert inserts a node at the given index.
|
||||||
|
func (s *nodeStack) insert(i int, n *Node) {
|
||||||
|
(*s) = append(*s, nil)
|
||||||
|
copy((*s)[i+1:], (*s)[i:])
|
||||||
|
(*s)[i] = n
|
||||||
|
}
|
||||||
|
|
||||||
|
// remove removes a node from the stack. It is a no-op if n is not present.
|
||||||
|
func (s *nodeStack) remove(n *Node) {
|
||||||
|
i := s.index(n)
|
||||||
|
if i == -1 {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
copy((*s)[i:], (*s)[i+1:])
|
||||||
|
j := len(*s) - 1
|
||||||
|
(*s)[j] = nil
|
||||||
|
*s = (*s)[:j]
|
||||||
|
}
|
|
@ -0,0 +1,146 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
)
|
||||||
|
|
||||||
|
// checkTreeConsistency checks that a node and its descendants are all
|
||||||
|
// consistent in their parent/child/sibling relationships.
|
||||||
|
func checkTreeConsistency(n *Node) error {
|
||||||
|
return checkTreeConsistency1(n, 0)
|
||||||
|
}
|
||||||
|
|
||||||
|
func checkTreeConsistency1(n *Node, depth int) error {
|
||||||
|
if depth == 1e4 {
|
||||||
|
return fmt.Errorf("html: tree looks like it contains a cycle")
|
||||||
|
}
|
||||||
|
if err := checkNodeConsistency(n); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if err := checkTreeConsistency1(c, depth+1); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// checkNodeConsistency checks that a node's parent/child/sibling relationships
|
||||||
|
// are consistent.
|
||||||
|
func checkNodeConsistency(n *Node) error {
|
||||||
|
if n == nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
nParent := 0
|
||||||
|
for p := n.Parent; p != nil; p = p.Parent {
|
||||||
|
nParent++
|
||||||
|
if nParent == 1e4 {
|
||||||
|
return fmt.Errorf("html: parent list looks like an infinite loop")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
nForward := 0
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
nForward++
|
||||||
|
if nForward == 1e6 {
|
||||||
|
return fmt.Errorf("html: forward list of children looks like an infinite loop")
|
||||||
|
}
|
||||||
|
if c.Parent != n {
|
||||||
|
return fmt.Errorf("html: inconsistent child/parent relationship")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
nBackward := 0
|
||||||
|
for c := n.LastChild; c != nil; c = c.PrevSibling {
|
||||||
|
nBackward++
|
||||||
|
if nBackward == 1e6 {
|
||||||
|
return fmt.Errorf("html: backward list of children looks like an infinite loop")
|
||||||
|
}
|
||||||
|
if c.Parent != n {
|
||||||
|
return fmt.Errorf("html: inconsistent child/parent relationship")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if n.Parent != nil {
|
||||||
|
if n.Parent == n {
|
||||||
|
return fmt.Errorf("html: inconsistent parent relationship")
|
||||||
|
}
|
||||||
|
if n.Parent == n.FirstChild {
|
||||||
|
return fmt.Errorf("html: inconsistent parent/first relationship")
|
||||||
|
}
|
||||||
|
if n.Parent == n.LastChild {
|
||||||
|
return fmt.Errorf("html: inconsistent parent/last relationship")
|
||||||
|
}
|
||||||
|
if n.Parent == n.PrevSibling {
|
||||||
|
return fmt.Errorf("html: inconsistent parent/prev relationship")
|
||||||
|
}
|
||||||
|
if n.Parent == n.NextSibling {
|
||||||
|
return fmt.Errorf("html: inconsistent parent/next relationship")
|
||||||
|
}
|
||||||
|
|
||||||
|
parentHasNAsAChild := false
|
||||||
|
for c := n.Parent.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if c == n {
|
||||||
|
parentHasNAsAChild = true
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if !parentHasNAsAChild {
|
||||||
|
return fmt.Errorf("html: inconsistent parent/child relationship")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if n.PrevSibling != nil && n.PrevSibling.NextSibling != n {
|
||||||
|
return fmt.Errorf("html: inconsistent prev/next relationship")
|
||||||
|
}
|
||||||
|
if n.NextSibling != nil && n.NextSibling.PrevSibling != n {
|
||||||
|
return fmt.Errorf("html: inconsistent next/prev relationship")
|
||||||
|
}
|
||||||
|
|
||||||
|
if (n.FirstChild == nil) != (n.LastChild == nil) {
|
||||||
|
return fmt.Errorf("html: inconsistent first/last relationship")
|
||||||
|
}
|
||||||
|
if n.FirstChild != nil && n.FirstChild == n.LastChild {
|
||||||
|
// We have a sole child.
|
||||||
|
if n.FirstChild.PrevSibling != nil || n.FirstChild.NextSibling != nil {
|
||||||
|
return fmt.Errorf("html: inconsistent sole child's sibling relationship")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
seen := map[*Node]bool{}
|
||||||
|
|
||||||
|
var last *Node
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if seen[c] {
|
||||||
|
return fmt.Errorf("html: inconsistent repeated child")
|
||||||
|
}
|
||||||
|
seen[c] = true
|
||||||
|
last = c
|
||||||
|
}
|
||||||
|
if last != n.LastChild {
|
||||||
|
return fmt.Errorf("html: inconsistent last relationship")
|
||||||
|
}
|
||||||
|
|
||||||
|
var first *Node
|
||||||
|
for c := n.LastChild; c != nil; c = c.PrevSibling {
|
||||||
|
if !seen[c] {
|
||||||
|
return fmt.Errorf("html: inconsistent missing child")
|
||||||
|
}
|
||||||
|
delete(seen, c)
|
||||||
|
first = c
|
||||||
|
}
|
||||||
|
if first != n.FirstChild {
|
||||||
|
return fmt.Errorf("html: inconsistent first relationship")
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(seen) != 0 {
|
||||||
|
return fmt.Errorf("html: inconsistent forwards/backwards child list")
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
File diff suppressed because it is too large
Load Diff
|
@ -0,0 +1,388 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bufio"
|
||||||
|
"bytes"
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
"io"
|
||||||
|
"io/ioutil"
|
||||||
|
"os"
|
||||||
|
"path/filepath"
|
||||||
|
"runtime"
|
||||||
|
"sort"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"golang.org/x/net/html/atom"
|
||||||
|
)
|
||||||
|
|
||||||
|
// readParseTest reads a single test case from r.
|
||||||
|
func readParseTest(r *bufio.Reader) (text, want, context string, err error) {
|
||||||
|
line, err := r.ReadSlice('\n')
|
||||||
|
if err != nil {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
var b []byte
|
||||||
|
|
||||||
|
// Read the HTML.
|
||||||
|
if string(line) != "#data\n" {
|
||||||
|
return "", "", "", fmt.Errorf(`got %q want "#data\n"`, line)
|
||||||
|
}
|
||||||
|
for {
|
||||||
|
line, err = r.ReadSlice('\n')
|
||||||
|
if err != nil {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
if line[0] == '#' {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
b = append(b, line...)
|
||||||
|
}
|
||||||
|
text = strings.TrimSuffix(string(b), "\n")
|
||||||
|
b = b[:0]
|
||||||
|
|
||||||
|
// Skip the error list.
|
||||||
|
if string(line) != "#errors\n" {
|
||||||
|
return "", "", "", fmt.Errorf(`got %q want "#errors\n"`, line)
|
||||||
|
}
|
||||||
|
for {
|
||||||
|
line, err = r.ReadSlice('\n')
|
||||||
|
if err != nil {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
if line[0] == '#' {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if string(line) == "#document-fragment\n" {
|
||||||
|
line, err = r.ReadSlice('\n')
|
||||||
|
if err != nil {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
context = strings.TrimSpace(string(line))
|
||||||
|
line, err = r.ReadSlice('\n')
|
||||||
|
if err != nil {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Read the dump of what the parse tree should be.
|
||||||
|
if string(line) != "#document\n" {
|
||||||
|
return "", "", "", fmt.Errorf(`got %q want "#document\n"`, line)
|
||||||
|
}
|
||||||
|
inQuote := false
|
||||||
|
for {
|
||||||
|
line, err = r.ReadSlice('\n')
|
||||||
|
if err != nil && err != io.EOF {
|
||||||
|
return "", "", "", err
|
||||||
|
}
|
||||||
|
trimmed := bytes.Trim(line, "| \n")
|
||||||
|
if len(trimmed) > 0 {
|
||||||
|
if line[0] == '|' && trimmed[0] == '"' {
|
||||||
|
inQuote = true
|
||||||
|
}
|
||||||
|
if trimmed[len(trimmed)-1] == '"' && !(line[0] == '|' && len(trimmed) == 1) {
|
||||||
|
inQuote = false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if len(line) == 0 || len(line) == 1 && line[0] == '\n' && !inQuote {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
b = append(b, line...)
|
||||||
|
}
|
||||||
|
return text, string(b), context, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func dumpIndent(w io.Writer, level int) {
|
||||||
|
io.WriteString(w, "| ")
|
||||||
|
for i := 0; i < level; i++ {
|
||||||
|
io.WriteString(w, " ")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type sortedAttributes []Attribute
|
||||||
|
|
||||||
|
func (a sortedAttributes) Len() int {
|
||||||
|
return len(a)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a sortedAttributes) Less(i, j int) bool {
|
||||||
|
if a[i].Namespace != a[j].Namespace {
|
||||||
|
return a[i].Namespace < a[j].Namespace
|
||||||
|
}
|
||||||
|
return a[i].Key < a[j].Key
|
||||||
|
}
|
||||||
|
|
||||||
|
func (a sortedAttributes) Swap(i, j int) {
|
||||||
|
a[i], a[j] = a[j], a[i]
|
||||||
|
}
|
||||||
|
|
||||||
|
func dumpLevel(w io.Writer, n *Node, level int) error {
|
||||||
|
dumpIndent(w, level)
|
||||||
|
switch n.Type {
|
||||||
|
case ErrorNode:
|
||||||
|
return errors.New("unexpected ErrorNode")
|
||||||
|
case DocumentNode:
|
||||||
|
return errors.New("unexpected DocumentNode")
|
||||||
|
case ElementNode:
|
||||||
|
if n.Namespace != "" {
|
||||||
|
fmt.Fprintf(w, "<%s %s>", n.Namespace, n.Data)
|
||||||
|
} else {
|
||||||
|
fmt.Fprintf(w, "<%s>", n.Data)
|
||||||
|
}
|
||||||
|
attr := sortedAttributes(n.Attr)
|
||||||
|
sort.Sort(attr)
|
||||||
|
for _, a := range attr {
|
||||||
|
io.WriteString(w, "\n")
|
||||||
|
dumpIndent(w, level+1)
|
||||||
|
if a.Namespace != "" {
|
||||||
|
fmt.Fprintf(w, `%s %s="%s"`, a.Namespace, a.Key, a.Val)
|
||||||
|
} else {
|
||||||
|
fmt.Fprintf(w, `%s="%s"`, a.Key, a.Val)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
case TextNode:
|
||||||
|
fmt.Fprintf(w, `"%s"`, n.Data)
|
||||||
|
case CommentNode:
|
||||||
|
fmt.Fprintf(w, "<!-- %s -->", n.Data)
|
||||||
|
case DoctypeNode:
|
||||||
|
fmt.Fprintf(w, "<!DOCTYPE %s", n.Data)
|
||||||
|
if n.Attr != nil {
|
||||||
|
var p, s string
|
||||||
|
for _, a := range n.Attr {
|
||||||
|
switch a.Key {
|
||||||
|
case "public":
|
||||||
|
p = a.Val
|
||||||
|
case "system":
|
||||||
|
s = a.Val
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if p != "" || s != "" {
|
||||||
|
fmt.Fprintf(w, ` "%s"`, p)
|
||||||
|
fmt.Fprintf(w, ` "%s"`, s)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
io.WriteString(w, ">")
|
||||||
|
case scopeMarkerNode:
|
||||||
|
return errors.New("unexpected scopeMarkerNode")
|
||||||
|
default:
|
||||||
|
return errors.New("unknown node type")
|
||||||
|
}
|
||||||
|
io.WriteString(w, "\n")
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if err := dumpLevel(w, c, level+1); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func dump(n *Node) (string, error) {
|
||||||
|
if n == nil || n.FirstChild == nil {
|
||||||
|
return "", nil
|
||||||
|
}
|
||||||
|
var b bytes.Buffer
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if err := dumpLevel(&b, c, 0); err != nil {
|
||||||
|
return "", err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return b.String(), nil
|
||||||
|
}
|
||||||
|
|
||||||
|
const testDataDir = "testdata/webkit/"
|
||||||
|
|
||||||
|
func TestParser(t *testing.T) {
|
||||||
|
testFiles, err := filepath.Glob(testDataDir + "*.dat")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
for _, tf := range testFiles {
|
||||||
|
f, err := os.Open(tf)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
defer f.Close()
|
||||||
|
r := bufio.NewReader(f)
|
||||||
|
|
||||||
|
for i := 0; ; i++ {
|
||||||
|
text, want, context, err := readParseTest(r)
|
||||||
|
if err == io.EOF {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
err = testParseCase(text, want, context)
|
||||||
|
|
||||||
|
if err != nil {
|
||||||
|
t.Errorf("%s test #%d %q, %s", tf, i, text, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// testParseCase tests one test case from the test files. If the test does not
|
||||||
|
// pass, it returns an error that explains the failure.
|
||||||
|
// text is the HTML to be parsed, want is a dump of the correct parse tree,
|
||||||
|
// and context is the name of the context node, if any.
|
||||||
|
func testParseCase(text, want, context string) (err error) {
|
||||||
|
defer func() {
|
||||||
|
if x := recover(); x != nil {
|
||||||
|
switch e := x.(type) {
|
||||||
|
case error:
|
||||||
|
err = e
|
||||||
|
default:
|
||||||
|
err = fmt.Errorf("%v", e)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
|
||||||
|
var doc *Node
|
||||||
|
if context == "" {
|
||||||
|
doc, err = Parse(strings.NewReader(text))
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
contextNode := &Node{
|
||||||
|
Type: ElementNode,
|
||||||
|
DataAtom: atom.Lookup([]byte(context)),
|
||||||
|
Data: context,
|
||||||
|
}
|
||||||
|
nodes, err := ParseFragment(strings.NewReader(text), contextNode)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
doc = &Node{
|
||||||
|
Type: DocumentNode,
|
||||||
|
}
|
||||||
|
for _, n := range nodes {
|
||||||
|
doc.AppendChild(n)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := checkTreeConsistency(doc); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
got, err := dump(doc)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
// Compare the parsed tree to the #document section.
|
||||||
|
if got != want {
|
||||||
|
return fmt.Errorf("got vs want:\n----\n%s----\n%s----", got, want)
|
||||||
|
}
|
||||||
|
|
||||||
|
if renderTestBlacklist[text] || context != "" {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check that rendering and re-parsing results in an identical tree.
|
||||||
|
pr, pw := io.Pipe()
|
||||||
|
go func() {
|
||||||
|
pw.CloseWithError(Render(pw, doc))
|
||||||
|
}()
|
||||||
|
doc1, err := Parse(pr)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
got1, err := dump(doc1)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if got != got1 {
|
||||||
|
return fmt.Errorf("got vs got1:\n----\n%s----\n%s----", got, got1)
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Some test input result in parse trees are not 'well-formed' despite
|
||||||
|
// following the HTML5 recovery algorithms. Rendering and re-parsing such a
|
||||||
|
// tree will not result in an exact clone of that tree. We blacklist such
|
||||||
|
// inputs from the render test.
|
||||||
|
var renderTestBlacklist = map[string]bool{
|
||||||
|
// The second <a> will be reparented to the first <table>'s parent. This
|
||||||
|
// results in an <a> whose parent is an <a>, which is not 'well-formed'.
|
||||||
|
`<a><table><td><a><table></table><a></tr><a></table><b>X</b>C<a>Y`: true,
|
||||||
|
// The same thing with a <p>:
|
||||||
|
`<p><table></p>`: true,
|
||||||
|
// More cases of <a> being reparented:
|
||||||
|
`<a href="blah">aba<table><a href="foo">br<tr><td></td></tr>x</table>aoe`: true,
|
||||||
|
`<a><table><a></table><p><a><div><a>`: true,
|
||||||
|
`<a><table><td><a><table></table><a></tr><a></table><a>`: true,
|
||||||
|
// A similar reparenting situation involving <nobr>:
|
||||||
|
`<!DOCTYPE html><body><b><nobr>1<table><nobr></b><i><nobr>2<nobr></i>3`: true,
|
||||||
|
// A <plaintext> element is reparented, putting it before a table.
|
||||||
|
// A <plaintext> element can't have anything after it in HTML.
|
||||||
|
`<table><plaintext><td>`: true,
|
||||||
|
`<!doctype html><table><plaintext></plaintext>`: true,
|
||||||
|
`<!doctype html><table><tbody><plaintext></plaintext>`: true,
|
||||||
|
`<!doctype html><table><tbody><tr><plaintext></plaintext>`: true,
|
||||||
|
// A form inside a table inside a form doesn't work either.
|
||||||
|
`<!doctype html><form><table></form><form></table></form>`: true,
|
||||||
|
// A script that ends at EOF may escape its own closing tag when rendered.
|
||||||
|
`<!doctype html><script><!--<script `: true,
|
||||||
|
`<!doctype html><script><!--<script <`: true,
|
||||||
|
`<!doctype html><script><!--<script <a`: true,
|
||||||
|
`<!doctype html><script><!--<script </`: true,
|
||||||
|
`<!doctype html><script><!--<script </s`: true,
|
||||||
|
`<!doctype html><script><!--<script </script`: true,
|
||||||
|
`<!doctype html><script><!--<script </scripta`: true,
|
||||||
|
`<!doctype html><script><!--<script -`: true,
|
||||||
|
`<!doctype html><script><!--<script -a`: true,
|
||||||
|
`<!doctype html><script><!--<script -<`: true,
|
||||||
|
`<!doctype html><script><!--<script --`: true,
|
||||||
|
`<!doctype html><script><!--<script --a`: true,
|
||||||
|
`<!doctype html><script><!--<script --<`: true,
|
||||||
|
`<script><!--<script `: true,
|
||||||
|
`<script><!--<script <a`: true,
|
||||||
|
`<script><!--<script </script`: true,
|
||||||
|
`<script><!--<script </scripta`: true,
|
||||||
|
`<script><!--<script -`: true,
|
||||||
|
`<script><!--<script -a`: true,
|
||||||
|
`<script><!--<script --`: true,
|
||||||
|
`<script><!--<script --a`: true,
|
||||||
|
`<script><!--<script <`: true,
|
||||||
|
`<script><!--<script </`: true,
|
||||||
|
`<script><!--<script </s`: true,
|
||||||
|
// Reconstructing the active formatting elements results in a <plaintext>
|
||||||
|
// element that contains an <a> element.
|
||||||
|
`<!doctype html><p><a><plaintext>b`: true,
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestNodeConsistency(t *testing.T) {
|
||||||
|
// inconsistentNode is a Node whose DataAtom and Data do not agree.
|
||||||
|
inconsistentNode := &Node{
|
||||||
|
Type: ElementNode,
|
||||||
|
DataAtom: atom.Frameset,
|
||||||
|
Data: "table",
|
||||||
|
}
|
||||||
|
_, err := ParseFragment(strings.NewReader("<p>hello</p>"), inconsistentNode)
|
||||||
|
if err == nil {
|
||||||
|
t.Errorf("got nil error, want non-nil")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func BenchmarkParser(b *testing.B) {
|
||||||
|
buf, err := ioutil.ReadFile("testdata/go1.html")
|
||||||
|
if err != nil {
|
||||||
|
b.Fatalf("could not read testdata/go1.html: %v", err)
|
||||||
|
}
|
||||||
|
b.SetBytes(int64(len(buf)))
|
||||||
|
runtime.GC()
|
||||||
|
b.ReportAllocs()
|
||||||
|
b.ResetTimer()
|
||||||
|
for i := 0; i < b.N; i++ {
|
||||||
|
Parse(bytes.NewBuffer(buf))
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,271 @@
|
||||||
|
// Copyright 2011 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bufio"
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
"io"
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
type writer interface {
|
||||||
|
io.Writer
|
||||||
|
io.ByteWriter
|
||||||
|
WriteString(string) (int, error)
|
||||||
|
}
|
||||||
|
|
||||||
|
// Render renders the parse tree n to the given writer.
|
||||||
|
//
|
||||||
|
// Rendering is done on a 'best effort' basis: calling Parse on the output of
|
||||||
|
// Render will always result in something similar to the original tree, but it
|
||||||
|
// is not necessarily an exact clone unless the original tree was 'well-formed'.
|
||||||
|
// 'Well-formed' is not easily specified; the HTML5 specification is
|
||||||
|
// complicated.
|
||||||
|
//
|
||||||
|
// Calling Parse on arbitrary input typically results in a 'well-formed' parse
|
||||||
|
// tree. However, it is possible for Parse to yield a 'badly-formed' parse tree.
|
||||||
|
// For example, in a 'well-formed' parse tree, no <a> element is a child of
|
||||||
|
// another <a> element: parsing "<a><a>" results in two sibling elements.
|
||||||
|
// Similarly, in a 'well-formed' parse tree, no <a> element is a child of a
|
||||||
|
// <table> element: parsing "<p><table><a>" results in a <p> with two sibling
|
||||||
|
// children; the <a> is reparented to the <table>'s parent. However, calling
|
||||||
|
// Parse on "<a><table><a>" does not return an error, but the result has an <a>
|
||||||
|
// element with an <a> child, and is therefore not 'well-formed'.
|
||||||
|
//
|
||||||
|
// Programmatically constructed trees are typically also 'well-formed', but it
|
||||||
|
// is possible to construct a tree that looks innocuous but, when rendered and
|
||||||
|
// re-parsed, results in a different tree. A simple example is that a solitary
|
||||||
|
// text node would become a tree containing <html>, <head> and <body> elements.
|
||||||
|
// Another example is that the programmatic equivalent of "a<head>b</head>c"
|
||||||
|
// becomes "<html><head><head/><body>abc</body></html>".
|
||||||
|
func Render(w io.Writer, n *Node) error {
|
||||||
|
if x, ok := w.(writer); ok {
|
||||||
|
return render(x, n)
|
||||||
|
}
|
||||||
|
buf := bufio.NewWriter(w)
|
||||||
|
if err := render(buf, n); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return buf.Flush()
|
||||||
|
}
|
||||||
|
|
||||||
|
// plaintextAbort is returned from render1 when a <plaintext> element
|
||||||
|
// has been rendered. No more end tags should be rendered after that.
|
||||||
|
var plaintextAbort = errors.New("html: internal error (plaintext abort)")
|
||||||
|
|
||||||
|
func render(w writer, n *Node) error {
|
||||||
|
err := render1(w, n)
|
||||||
|
if err == plaintextAbort {
|
||||||
|
err = nil
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
func render1(w writer, n *Node) error {
|
||||||
|
// Render non-element nodes; these are the easy cases.
|
||||||
|
switch n.Type {
|
||||||
|
case ErrorNode:
|
||||||
|
return errors.New("html: cannot render an ErrorNode node")
|
||||||
|
case TextNode:
|
||||||
|
return escape(w, n.Data)
|
||||||
|
case DocumentNode:
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if err := render1(w, c); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
case ElementNode:
|
||||||
|
// No-op.
|
||||||
|
case CommentNode:
|
||||||
|
if _, err := w.WriteString("<!--"); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(n.Data); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString("-->"); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
case DoctypeNode:
|
||||||
|
if _, err := w.WriteString("<!DOCTYPE "); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(n.Data); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if n.Attr != nil {
|
||||||
|
var p, s string
|
||||||
|
for _, a := range n.Attr {
|
||||||
|
switch a.Key {
|
||||||
|
case "public":
|
||||||
|
p = a.Val
|
||||||
|
case "system":
|
||||||
|
s = a.Val
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if p != "" {
|
||||||
|
if _, err := w.WriteString(" PUBLIC "); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := writeQuoted(w, p); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if s != "" {
|
||||||
|
if err := w.WriteByte(' '); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := writeQuoted(w, s); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} else if s != "" {
|
||||||
|
if _, err := w.WriteString(" SYSTEM "); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := writeQuoted(w, s); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return w.WriteByte('>')
|
||||||
|
default:
|
||||||
|
return errors.New("html: unknown node type")
|
||||||
|
}
|
||||||
|
|
||||||
|
// Render the <xxx> opening tag.
|
||||||
|
if err := w.WriteByte('<'); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(n.Data); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
for _, a := range n.Attr {
|
||||||
|
if err := w.WriteByte(' '); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if a.Namespace != "" {
|
||||||
|
if _, err := w.WriteString(a.Namespace); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := w.WriteByte(':'); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(a.Key); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(`="`); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := escape(w, a.Val); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := w.WriteByte('"'); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if voidElements[n.Data] {
|
||||||
|
if n.FirstChild != nil {
|
||||||
|
return fmt.Errorf("html: void element <%s> has child nodes", n.Data)
|
||||||
|
}
|
||||||
|
_, err := w.WriteString("/>")
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := w.WriteByte('>'); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Add initial newline where there is danger of a newline beging ignored.
|
||||||
|
if c := n.FirstChild; c != nil && c.Type == TextNode && strings.HasPrefix(c.Data, "\n") {
|
||||||
|
switch n.Data {
|
||||||
|
case "pre", "listing", "textarea":
|
||||||
|
if err := w.WriteByte('\n'); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Render any child nodes.
|
||||||
|
switch n.Data {
|
||||||
|
case "iframe", "noembed", "noframes", "noscript", "plaintext", "script", "style", "xmp":
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if c.Type == TextNode {
|
||||||
|
if _, err := w.WriteString(c.Data); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if err := render1(w, c); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if n.Data == "plaintext" {
|
||||||
|
// Don't render anything else. <plaintext> must be the
|
||||||
|
// last element in the file, with no closing tag.
|
||||||
|
return plaintextAbort
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
for c := n.FirstChild; c != nil; c = c.NextSibling {
|
||||||
|
if err := render1(w, c); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Render the </xxx> closing tag.
|
||||||
|
if _, err := w.WriteString("</"); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(n.Data); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return w.WriteByte('>')
|
||||||
|
}
|
||||||
|
|
||||||
|
// writeQuoted writes s to w surrounded by quotes. Normally it will use double
|
||||||
|
// quotes, but if s contains a double quote, it will use single quotes.
|
||||||
|
// It is used for writing the identifiers in a doctype declaration.
|
||||||
|
// In valid HTML, they can't contain both types of quotes.
|
||||||
|
func writeQuoted(w writer, s string) error {
|
||||||
|
var q byte = '"'
|
||||||
|
if strings.Contains(s, `"`) {
|
||||||
|
q = '\''
|
||||||
|
}
|
||||||
|
if err := w.WriteByte(q); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if _, err := w.WriteString(s); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if err := w.WriteByte(q); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Section 12.1.2, "Elements", gives this list of void elements. Void elements
|
||||||
|
// are those that can't have any contents.
|
||||||
|
var voidElements = map[string]bool{
|
||||||
|
"area": true,
|
||||||
|
"base": true,
|
||||||
|
"br": true,
|
||||||
|
"col": true,
|
||||||
|
"command": true,
|
||||||
|
"embed": true,
|
||||||
|
"hr": true,
|
||||||
|
"img": true,
|
||||||
|
"input": true,
|
||||||
|
"keygen": true,
|
||||||
|
"link": true,
|
||||||
|
"meta": true,
|
||||||
|
"param": true,
|
||||||
|
"source": true,
|
||||||
|
"track": true,
|
||||||
|
"wbr": true,
|
||||||
|
}
|
|
@ -0,0 +1,156 @@
|
||||||
|
// Copyright 2010 The Go Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a BSD-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package html
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestRenderer(t *testing.T) {
|
||||||
|
nodes := [...]*Node{
|
||||||
|
0: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "html",
|
||||||
|
},
|
||||||
|
1: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "head",
|
||||||
|
},
|
||||||
|
2: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "body",
|
||||||
|
},
|
||||||
|
3: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "0<1",
|
||||||
|
},
|
||||||
|
4: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "p",
|
||||||
|
Attr: []Attribute{
|
||||||
|
{
|
||||||
|
Key: "id",
|
||||||
|
Val: "A",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
Key: "foo",
|
||||||
|
Val: `abc"def`,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
5: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "2",
|
||||||
|
},
|
||||||
|
6: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "b",
|
||||||
|
Attr: []Attribute{
|
||||||
|
{
|
||||||
|
Key: "empty",
|
||||||
|
Val: "",
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
7: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "3",
|
||||||
|
},
|
||||||
|
8: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "i",
|
||||||
|
Attr: []Attribute{
|
||||||
|
{
|
||||||
|
Key: "backslash",
|
||||||
|
Val: `\`,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
9: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "&4",
|
||||||
|
},
|
||||||
|
10: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "5",
|
||||||
|
},
|
||||||
|
11: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "blockquote",
|
||||||
|
},
|
||||||
|
12: {
|
||||||
|
Type: ElementNode,
|
||||||
|
Data: "br",
|
||||||
|
},
|
||||||
|
13: {
|
||||||
|
Type: TextNode,
|
||||||
|
Data: "6",
|
||||||
|
},
|
||||||
|
}
|
||||||
|
|
||||||
|
// Build a tree out of those nodes, based on a textual representation.
|
||||||
|
// Only the ".\t"s are significant. The trailing HTML-like text is
|
||||||
|
// just commentary. The "0:" prefixes are for easy cross-reference with
|
||||||
|
// the nodes array.
|
||||||
|
treeAsText := [...]string{
|
||||||
|
0: `<html>`,
|
||||||
|
1: `. <head>`,
|
||||||
|
2: `. <body>`,
|
||||||
|
3: `. . "0<1"`,
|
||||||
|
4: `. . <p id="A" foo="abc"def">`,
|
||||||
|
5: `. . . "2"`,
|
||||||
|
6: `. . . <b empty="">`,
|
||||||
|
7: `. . . . "3"`,
|
||||||
|
8: `. . . <i backslash="\">`,
|
||||||
|
9: `. . . . "&4"`,
|
||||||
|
10: `. . "5"`,
|
||||||
|
11: `. . <blockquote>`,
|
||||||
|
12: `. . <br>`,
|
||||||
|
13: `. . "6"`,
|
||||||
|
}
|
||||||
|
if len(nodes) != len(treeAsText) {
|
||||||
|
t.Fatal("len(nodes) != len(treeAsText)")
|
||||||
|
}
|
||||||
|
var stack [8]*Node
|
||||||
|
for i, line := range treeAsText {
|
||||||
|
level := 0
|
||||||
|
for line[0] == '.' {
|
||||||
|
// Strip a leading ".\t".
|
||||||
|
line = line[2:]
|
||||||
|
level++
|
||||||
|
}
|
||||||
|
n := nodes[i]
|
||||||
|
if level == 0 {
|
||||||
|
if stack[0] != nil {
|
||||||
|
t.Fatal("multiple root nodes")
|
||||||
|
}
|
||||||
|
stack[0] = n
|
||||||
|
} else {
|
||||||
|
stack[level-1].AppendChild(n)
|
||||||
|
stack[level] = n
|
||||||
|
for i := level + 1; i < len(stack); i++ {
|
||||||
|
stack[i] = nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
// At each stage of tree construction, we check all nodes for consistency.
|
||||||
|
for j, m := range nodes {
|
||||||
|
if err := checkNodeConsistency(m); err != nil {
|
||||||
|
t.Fatalf("i=%d, j=%d: %v", i, j, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
want := `<html><head></head><body>0<1<p id="A" foo="abc"def">` +
|
||||||
|
`2<b empty="">3</b><i backslash="\">&4</i></p>` +
|
||||||
|
`5<blockquote></blockquote><br/>6</body></html>`
|
||||||
|
b := new(bytes.Buffer)
|
||||||
|
if err := Render(b, nodes[0]); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if got := b.String(); got != want {
|
||||||
|
t.Errorf("got vs want:\n%s\n%s\n", got, want)
|
||||||
|
}
|
||||||
|
}
|
File diff suppressed because it is too large
Load Diff
|
@ -0,0 +1,28 @@
|
||||||
|
The *.dat files in this directory are copied from The WebKit Open Source
|
||||||
|
Project, specifically $WEBKITROOT/LayoutTests/html5lib/resources.
|
||||||
|
WebKit is licensed under a BSD style license.
|
||||||
|
http://webkit.org/coding/bsd-license.html says:
|
||||||
|
|
||||||
|
Copyright (C) 2009 Apple Inc. All rights reserved.
|
||||||
|
|
||||||
|
Redistribution and use in source and binary forms, with or without
|
||||||
|
modification, are permitted provided that the following conditions are met:
|
||||||
|
|
||||||
|
1. Redistributions of source code must retain the above copyright notice,
|
||||||
|
this list of conditions and the following disclaimer.
|
||||||
|
|
||||||
|
2. Redistributions in binary form must reproduce the above copyright notice,
|
||||||
|
this list of conditions and the following disclaimer in the documentation
|
||||||
|
and/or other materials provided with the distribution.
|
||||||
|
|
||||||
|
THIS SOFTWARE IS PROVIDED BY APPLE INC. AND ITS CONTRIBUTORS "AS IS" AND ANY
|
||||||
|
EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
|
||||||
|
WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
|
||||||
|
DISCLAIMED. IN NO EVENT SHALL APPLE INC. OR ITS CONTRIBUTORS BE LIABLE FOR ANY
|
||||||
|
DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
|
||||||
|
(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
|
||||||
|
LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
|
||||||
|
ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
|
||||||
|
(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
|
||||||
|
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||||
|
|
|
@ -0,0 +1,194 @@
|
||||||
|
#data
|
||||||
|
<a><p></a></p>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a>1<p>2</a>3</p>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
| "2"
|
||||||
|
| "3"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a>1<button>2</a>3</button>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <button>
|
||||||
|
| <a>
|
||||||
|
| "2"
|
||||||
|
| "3"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a>1<b>2</a>3</b>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <b>
|
||||||
|
| "2"
|
||||||
|
| <b>
|
||||||
|
| "3"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a>1<div>2<div>3</a>4</div>5</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <div>
|
||||||
|
| <a>
|
||||||
|
| "2"
|
||||||
|
| <div>
|
||||||
|
| <a>
|
||||||
|
| "3"
|
||||||
|
| "4"
|
||||||
|
| "5"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<table><a>1<p>2</a>3</p>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
| "2"
|
||||||
|
| "3"
|
||||||
|
| <table>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<b><b><a><p></a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <b>
|
||||||
|
| <b>
|
||||||
|
| <a>
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<b><a><b><p></a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <b>
|
||||||
|
| <a>
|
||||||
|
| <b>
|
||||||
|
| <b>
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a><b><b><p></a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| <b>
|
||||||
|
| <b>
|
||||||
|
| <b>
|
||||||
|
| <b>
|
||||||
|
| <p>
|
||||||
|
| <a>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<p>1<s id="A">2<b id="B">3</p>4</s>5</b>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <p>
|
||||||
|
| "1"
|
||||||
|
| <s>
|
||||||
|
| id="A"
|
||||||
|
| "2"
|
||||||
|
| <b>
|
||||||
|
| id="B"
|
||||||
|
| "3"
|
||||||
|
| <s>
|
||||||
|
| id="A"
|
||||||
|
| <b>
|
||||||
|
| id="B"
|
||||||
|
| "4"
|
||||||
|
| <b>
|
||||||
|
| id="B"
|
||||||
|
| "5"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<table><a>1<td>2</td>3</table>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| "1"
|
||||||
|
| <a>
|
||||||
|
| "3"
|
||||||
|
| <table>
|
||||||
|
| <tbody>
|
||||||
|
| <tr>
|
||||||
|
| <td>
|
||||||
|
| "2"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<table>A<td>B</td>C</table>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "AC"
|
||||||
|
| <table>
|
||||||
|
| <tbody>
|
||||||
|
| <tr>
|
||||||
|
| <td>
|
||||||
|
| "B"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a><svg><tr><input></a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| <svg svg>
|
||||||
|
| <svg tr>
|
||||||
|
| <svg input>
|
|
@ -0,0 +1,31 @@
|
||||||
|
#data
|
||||||
|
<b>1<i>2<p>3</b>4
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <b>
|
||||||
|
| "1"
|
||||||
|
| <i>
|
||||||
|
| "2"
|
||||||
|
| <i>
|
||||||
|
| <p>
|
||||||
|
| <b>
|
||||||
|
| "3"
|
||||||
|
| "4"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a><div><style></style><address><a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| <div>
|
||||||
|
| <a>
|
||||||
|
| <style>
|
||||||
|
| <address>
|
||||||
|
| <a>
|
||||||
|
| <a>
|
|
@ -0,0 +1,135 @@
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR -->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR --!>BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR -- >BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -- >BAZ -->
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR -- <QUX> -- MUX -->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -- <QUX> -- MUX -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR -- <QUX> -- MUX --!>BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -- <QUX> -- MUX -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-- BAR -- <QUX> -- MUX -- >BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- BAR -- <QUX> -- MUX -- >BAZ -->
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!---->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!--->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!-->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- -->
|
||||||
|
| "BAZ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<?xml version="1.0">Hi
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- ?xml version="1.0" -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hi"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<?xml version="1.0">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- ?xml version="1.0" -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<?xml version
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- ?xml version -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO<!----->BAZ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO"
|
||||||
|
| <!-- - -->
|
||||||
|
| "BAZ"
|
|
@ -0,0 +1,370 @@
|
||||||
|
#data
|
||||||
|
<!DOCTYPE html>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!dOctYpE HtMl>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPEhtml>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE >
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE >
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato taco>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato taco "ddd>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato sYstEM>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato sYstEM >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato sYstEM ggg>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato SYSTEM taco >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato SYSTEM 'taco"'>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "" "taco"">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato SYSTEM "taco">Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "" "taco">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato SYSTEM "tai'co">Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "" "tai'co">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato SYSTEMtaco "ddd">Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato grass SYSTEM taco>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato pUbLIc>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato pUbLIc >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato pUbLIcgoof>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato PUBLIC goof>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato PUBLIC "go'of">Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "go'of" "">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato PUBLIC 'go'of'>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "go" "">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato PUBLIC 'go:hh of' >Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "go:hh of" "">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE potato PUBLIC "W3C-//dfdf" SYSTEM ggg>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE potato "W3C-//dfdf" "">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"
|
||||||
|
"http://www.w3.org/TR/html4/strict.dtd">Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE ...>Hello
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE ...>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "Hello"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
|
||||||
|
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Frameset//EN"
|
||||||
|
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-frameset.dtd">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD XHTML 1.0 Frameset//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-frameset.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE root-element [SYSTEM OR PUBLIC FPI] "uri" [
|
||||||
|
<!-- internal declarations -->
|
||||||
|
]>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE root-element>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "]>"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE html PUBLIC
|
||||||
|
"-//WAPFORUM//DTD XHTML Mobile 1.0//EN"
|
||||||
|
"http://www.wapforum.org/DTD/xhtml-mobile10.dtd">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//WAPFORUM//DTD XHTML Mobile 1.0//EN" "http://www.wapforum.org/DTD/xhtml-mobile10.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML SYSTEM "http://www.w3.org/DTD/HTML4-strict.dtd"><body><b>Mine!</b></body>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "" "http://www.w3.org/DTD/HTML4-strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <b>
|
||||||
|
| "Mine!"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN""http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN"'http://www.w3.org/TR/html4/strict.dtd'>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML PUBLIC"-//W3C//DTD HTML 4.01//EN"'http://www.w3.org/TR/html4/strict.dtd'>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE HTML PUBLIC'-//W3C//DTD HTML 4.01//EN''http://www.w3.org/TR/html4/strict.dtd'>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
|
@ -0,0 +1,603 @@
|
||||||
|
#data
|
||||||
|
FOO>BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO>BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO>BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO>BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO> BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO> BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO>;;BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO>;;BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
I'm ¬it; I tell you
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "I'm ¬it; I tell you"
|
||||||
|
|
||||||
|
#data
|
||||||
|
I'm ∉ I tell you
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "I'm ∉ I tell you"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO& BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO& BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&<BAR>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&"
|
||||||
|
| <bar>
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&&&>BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&&&>BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO)BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO)BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOABAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOABAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOABAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOABAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&#BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&#BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&#ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&#ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOºR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOºR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&#xZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&#xZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO&#XZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO&#XZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO)BAR
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO)BAR"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO䆺R
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO䆺R"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOAZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOAZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOxZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOxZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOyZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOyZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO€ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO€ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO‚ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO‚ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOƒZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOƒZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO„ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO„ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO…ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO…ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO†ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO†ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO‡ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO‡ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOˆZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOˆZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO‰ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO‰ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOŠZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOŠZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO‹ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO‹ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOŒZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOŒZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOŽZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOŽZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO‘ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO‘ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO’ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO’ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO“ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO“ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO”ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO”ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO•ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO•ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO–ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO–ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO—ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO—ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO˜ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO˜ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO™ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO™ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOšZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOšZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO›ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO›ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOœZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOœZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOžZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOžZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOŸZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOŸZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO퟿ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO􈟔ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOOZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOOZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
||||||
|
|
||||||
|
#data
|
||||||
|
FOO�ZOO
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "FOO<4F>ZOO"
|
|
@ -0,0 +1,249 @@
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>YY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>YY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ&"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ&"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar='ZZ&'></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ&"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar=ZZ&></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ&"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>=YY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>=YY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>0YY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>0YY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>9YY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>9YY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>aYY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>aYY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>ZYY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>ZYY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ> YY"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ> YY"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ>"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar='ZZ>'></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar=ZZ>></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ>"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ£_id=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ£_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ&prod_id=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ&prod_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ£_id=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ£_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ∏_id=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ∏_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ£=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ£=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div bar="ZZ&prod=23"></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| bar="ZZ&prod=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ£_id=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ£_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ&prod_id=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ&prod_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ£_id=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ£_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ∏_id=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ∏_id=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ£=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ£=23"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div>ZZ&prod=23</div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| "ZZ&prod=23"
|
|
@ -0,0 +1,246 @@
|
||||||
|
#data
|
||||||
|
<div<div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div<div>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div foo<bar=''>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| foo<bar=""
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div foo=`bar`>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| foo="`bar`"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div \"foo=''>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
| \"foo=""
|
||||||
|
|
||||||
|
#data
|
||||||
|
<a href='\nbar'></a>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <a>
|
||||||
|
| href="\nbar"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!DOCTYPE html>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!DOCTYPE html>
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
⟨⟩
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "⟨⟩"
|
||||||
|
|
||||||
|
#data
|
||||||
|
'
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "'"
|
||||||
|
|
||||||
|
#data
|
||||||
|
ⅈ
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "ⅈ"
|
||||||
|
|
||||||
|
#data
|
||||||
|
𝕂
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "𝕂"
|
||||||
|
|
||||||
|
#data
|
||||||
|
∉
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| "∉"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<?import namespace="foo" implementation="#bar">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- ?import namespace="foo" implementation="#bar" -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<!--foo--bar-->
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- foo--bar -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<![CDATA[x]]>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <!-- [CDATA[x]] -->
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<textarea><!--</textarea>--></textarea>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <textarea>
|
||||||
|
| "<!--"
|
||||||
|
| "-->"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<textarea><!--</textarea>-->
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <textarea>
|
||||||
|
| "<!--"
|
||||||
|
| "-->"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<style><!--</style>--></style>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <style>
|
||||||
|
| "<!--"
|
||||||
|
| <body>
|
||||||
|
| "-->"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<style><!--</style>-->
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <style>
|
||||||
|
| "<!--"
|
||||||
|
| <body>
|
||||||
|
| "-->"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<ul><li>A </li> <li>B</li></ul>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <ul>
|
||||||
|
| <li>
|
||||||
|
| "A "
|
||||||
|
| " "
|
||||||
|
| <li>
|
||||||
|
| "B"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<table><form><input type=hidden><input></form><div></div></table>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <input>
|
||||||
|
| <div>
|
||||||
|
| <table>
|
||||||
|
| <form>
|
||||||
|
| <input>
|
||||||
|
| type="hidden"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<i>A<b>B<p></i>C</b>D
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <i>
|
||||||
|
| "A"
|
||||||
|
| <b>
|
||||||
|
| "B"
|
||||||
|
| <b>
|
||||||
|
| <p>
|
||||||
|
| <b>
|
||||||
|
| <i>
|
||||||
|
| "C"
|
||||||
|
| "D"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<div></div>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <div>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<svg></svg>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <svg svg>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<math></math>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <math math>
|
|
@ -0,0 +1,43 @@
|
||||||
|
#data
|
||||||
|
<button>1</foo>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <button>
|
||||||
|
| "1"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<foo>1<p>2</foo>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <foo>
|
||||||
|
| "1"
|
||||||
|
| <p>
|
||||||
|
| "2"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<dd>1</foo>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <dd>
|
||||||
|
| "1"
|
||||||
|
|
||||||
|
#data
|
||||||
|
<foo>1<dd>2</foo>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <foo>
|
||||||
|
| "1"
|
||||||
|
| <dd>
|
||||||
|
| "2"
|
|
@ -0,0 +1,40 @@
|
||||||
|
#data
|
||||||
|
<isindex>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <form>
|
||||||
|
| <hr>
|
||||||
|
| <label>
|
||||||
|
| "This is a searchable index. Enter search keywords: "
|
||||||
|
| <input>
|
||||||
|
| name="isindex"
|
||||||
|
| <hr>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<isindex name="A" action="B" prompt="C" foo="D">
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <form>
|
||||||
|
| action="B"
|
||||||
|
| <hr>
|
||||||
|
| <label>
|
||||||
|
| "C"
|
||||||
|
| <input>
|
||||||
|
| foo="D"
|
||||||
|
| name="isindex"
|
||||||
|
| <hr>
|
||||||
|
|
||||||
|
#data
|
||||||
|
<form><isindex>
|
||||||
|
#errors
|
||||||
|
#document
|
||||||
|
| <html>
|
||||||
|
| <head>
|
||||||
|
| <body>
|
||||||
|
| <form>
|
Some files were not shown because too many files have changed in this diff Show More
Loading…
Reference in New Issue